月份: 2020 年 9 月

  • 快速打造屬於你的接口自動化測試框架

    快速打造屬於你的接口自動化測試框架

    1 接口測試

    接口測試是對系統或組件之間的接口進行測試,主要是校驗數據的交換,傳遞和控制管理過程,以及相互邏輯依賴關係。
    接口自動化相對於UI自動化來說,屬於更底層的測試,這樣帶來的好處就是測試收益更大,且維護成本相對來說較低,是我們進行自動化測試的首選

    2 框架選型

    目前接口自動化的框架比較多,比如jmeter,就可以集接口自動化和性能測試於一體,該工具編寫用例效率不高;還有我們常用的postman,結合newman也可以實現接口自動化;Python+unittest+requests+HTMLTestRunner 是目前比較主流的測試框架,對python有一定的編碼要求;
    本期我們選擇robotframework(文中後續統一簡稱為RF)這一個比較老牌的測試框架進行介紹,RF是一個完全基於 關鍵字 測試驅動的框架,它即能夠基於它的一定規則,導入你需要的測試庫(例如:其集成了selenium的測試庫,即可以理解為操作控件的測試底層庫),然後基於這些測試庫,你能應用TXT形式編寫自己的關鍵字(支持python和java語言,這些關鍵字即你的庫組成),之後,再編寫(測試用例由測試關鍵字組成)進行測試;他支持移動端、UI自動化和接口自動化的測試

    3 環境搭建

    • python的安裝:目前選取的python3以上的版本,RF的運行依賴python
    • robotframework:參考https://www.jianshu.com/p/9dcb4242b8f2
    • jenkins:用於調度RF的用例執行環境
    • gitlab:代碼倉庫

    4 需求

    4.1 需求內容
    接口內容:實現一個下單,並檢查訂單狀態是否正常的場景;該需求涉及到如下三個接口

    • 下單接口
    • 訂單結果查詢接口
    • 下單必須帶上認證標識,生成token的接口

    環境覆蓋:需要支持能在多套環境運行,比如測試和預發布環境
    系統集成:需要能夠集成在CICD中,實現版本更新后的自動檢測

    4.2 用例設計
    4.2.1 用例設計,根據業務場景設計測試用例,方便後續實現

    4.2.2 測試數據構造,預置不同環境的測試數據,供實現調用

    5 整體實現架構

    接口測試實現層:在RF,通過引用默認關鍵字 RequestsLibrary (實現http請求)和通過python自定義關鍵字來完成用例實現的需求;
    jenkins調度:在jenkins上配置一個job,設置好RF用例執行的服務器和發送給服務器相關的RF執行的指令,並且在jenkins中配置好測試報告模板,這樣用例便可以通過jenkins完成執行併發送測試結果給項目干係人;
    生成用例執行的API:上圖中藍色部分,就是為了將jenkins的job生成一個可訪問api接口,方便被測項目的CICD集成;
    集成到被測系統CICD流程:將上面步驟中封裝的API配置在被測應用的__gitlab-ci.yml__中,完成整個接口自動化的閉環

    6 RF用例實現

    6.1 引用的內置關鍵字

    • RequestsLibrary 構造http的請求,get|post等請求
    getRequests
    # get請求的入參
        [Arguments]    ${url_domain}    ${getbody}    ${geturl}    ${getToken}
        Create session    postmain    ${url_domain}
    # 定義header的內容
        ${head}    createdictionary    content-type=application/json    Authorization=${getToken}    MerchantId=${s_merchant_id}
    # get請求
        ${addr}    getRequest    postmain    ${geturl}    params=${getbody}    headers=${head}
    # 請求狀態碼斷言
        Should Be Equal As Strings    ${addr.status_code}    200
        ${response_get_data}    To Json    ${addr.content}
    # 返回http_get請求結果
        Set Test Variable    ${response_get_data}	 
        Delete All Sessions
    

    6.2 自定義關鍵字

    • getEnvDomain 用於從自定義的configs.ini文件獲取對應環境的微服務的請求域名
      configs.ini的內容
    # 獲取configs.ini的內容
    import configparser
    def getEnv(path,env):
        config = configparser.ConfigParser()
        config.read(path)
        passport = config[env]['passport']
        stock=config[env]['stock']
        finance=config[env]['finance']
        SUP = config[env]['SUP']
        publicApi = config[env]['publicApi']
        publicOrder = config[env]['publicOrder']
        data_dict={'passport':passport,'stock':stock,'finance':finance,'SUP':SUP,'publicApi':publicApi,'publicOrder':publicOrder}
        return data_dict
    
    • excelTodict 用戶將excel中的內容作為字典返回
    import xlrd
    
    '''
    通用獲取excel數據
    @:param path excel文件路徑
    @:param sheet_name excel文件裏面sheet的名稱 如:Sheet1
    @:env 環境,是IT還是PRE
    '''
    def getExcelDate(path, sheet_name,env):
        bk = xlrd.open_workbook(path)
        sh = bk.sheet_by_name(sheet_name)
        row_num = sh.nrows
        data_list = []
        for i in range(1, row_num):
            row_data = sh.row_values(i)
            data = {}
            for index, key in enumerate(sh.row_values(0)):
                data[key] = row_data[index]
            data_list.append(data)
        data_list1 = []
        for x in data_list:
            #print('這是'+str(x))
            if(x.get('env')==env):
                data_list1.append(x)
        return data_list1
    
    • getToken 提供接口下單的授權token
    *** Keywords ***
    # 根據傳入的clientid、secret生成對應的token
    getToken
        [Arguments]    ${client_id}    ${client_secret}    ${url_domain}
        Create session    postmain    ${url_domain}
        ${auth}    createdictionary    grant_type=client_credentials    client_id=${client_id}    client_secret=${client_secret}
        ${header}    createdictionary    content-type=application/x-www-form-urlencoded
        ${addr}    postRequest    postmain    /oauth/token    data=${auth}    headers=${header}
        Should Be Equal As Strings    ${addr.status_code}    200
        ${responsedata}    To Json    ${addr.content}
        ${access}    Get From Dictionary    ${responsedata}    access_token
        ${token}    set variable    bearer ${access}
        Set Test Variable    ${token}
        Delete All Sessions
    
    • getAllDate 獲取該用例下的所有數據
    getAllData
        [Arguments]    ${row_no}
        getEnvDomain
        getBalance    ${row_no}
        getStockNum    ${row_no}
        getSupProPrice    ${row_no}
        getProPrice    ${row_no}
        Set Test Variable    ${publicOrderUrl}
        Set Test Variable    ${FPbalance}
        Set Test Variable    ${Pbalance}
        Set Test Variable    ${Sbalance}
        Set Test Variable    ${Jbalance}
        Set Test Variable    ${Cardnum}
        Set Test Variable    ${sprice}
        Set Test Variable    ${price}
        Set Test Variable    ${j_merchant_id}
        Set Test Variable    ${s_merchant_id}
        Set Test Variable    ${stock_id}
        Set Test Variable    ${p_product_id}
        Set Test Variable    ${s_product_id}
    
    
    • 實現demo
    *** Settings ***
    Test Template
    Resource          引用所有資源.txt
    
    *** Test Cases ***
    *** Settings ***
    Test Template
    Resource          引用所有資源.txt
    
    *** Test Cases ***
    01 下單卡密直儲商品
        [Tags]    order
        LOG    ---------------------獲取下單前的數量、餘額------------------------------------------
        getAllData    0
        ${Cardnum1}    set variable    ${Cardnum}
        ${FPbalance1}    set variable    ${FPbalance}
        ${Pbalance1}    set variable    ${Pbalance}
        ${Sbalance1}    set variable    ${Sbalance}
        ${Jbalance1}    set variable    ${Jbalance}
        ${CustomerOrderNo1}    Evaluate    random.randint(1000000, 9999999)    random
        ${Time}    Get Time
        log    ------------------------下單操作-------------------------------------------------------
        getToken    100xxxx    295dab07a9xxxx9780be0eb95xxxx   ${casUrl}
        ${input_cs}    create dictionary    memberId=${j_merchant_id}    clientId=1xxx079    userId=string    shopType=string    customerOrderNo=${CustomerOrderNo1}
        ...    productId=${p_product_id}    buyNum=1    chargeAccount=otest888888    notifyUrl=string    chargeIp=string    chargePassword=string
        ...    chargeGameName=string    chargeGameRole=string    chargeGameRegion=string    chargeGameSrv=string    chargeType=string    remainingNumber=0
        ...    contactTel=string    contactQQ=string    customerPrice=0    poundage=0    batchNumber=    originalOrderId=string
        ...    shopName=string    appointSupProductId=0    stemFromSubOrderId=123456    externalBizId=456789
        postRequests    ${publicOrderUrl}    ${input_cs}    /api/Order    ${token}
        ${data}    get from dictionary    ${responsedata}    data
        ${orderid}    get from dictionary    ${data}    id
        sleep    6
        ${getdata}    create dictionary    Id=${orderid}    PageIndex=1    PageSize=1
        getRequests    ${publicOrderUrl}    ${getdata}    /api/Order/GetList    ${token}
        ${datalist}    get from dictionary    ${response_get_data}    data
        ${data}    get from dictionary    ${datalist}    list
        ${dict}    set variable    ${data}[0]
        ${orderOuterStatus}    get from dictionary    ${dict}    orderOuterStatus
        LOG    ---------------------獲取下單后的數量、餘額----------------------------------------------
        getAllData    0
        ${Cardnum2}    set variable    ${Cardnum}
        ${FPbalance2}    set variable    ${FPbalance}
        ${Pbalance2}    set variable    ${Pbalance}
        ${Sbalance2}    set variable    ${Sbalance}
        ${Jbalance2}    set variable    ${Jbalance}
        ${sprice}    set variable    ${sprice}
        ${price}    set variable    ${price}
        log    ------------------斷言-----------------------------------------------------------------
        ${Cardnum3}    Evaluate    ${Cardnum1}
        ${Jbalance3}    Evaluate    ${Jbalance1}
        ${Sbalance3}    Evaluate    ${Sbalance1}
        ${Pbalance3}    Evaluate    ${Pbalance1}
        should be true    ${orderOuterStatus}==90
        should be true    ${Cardnum3}==${Cardnum2}
        should be true    ${Jbalance3}==${Jbalance2}
        should be true    ${Sbalance3}==${Sbalance2}
        should be true    ${Pbalance3}==${Pbalance2}
    
    

    7 集成到CICD流程

    7.1 jenkins配置job
    通過jenkins的參數化構建,定義it和pre兩套環境

    jenkins發送RF執行的命令

    7.2 封裝的jenkins_job的執行接口地址
    通過python的flask框架,根據測試和pre兩套環境包一層jenkins的job執行接口

    __author__ = 'paul'
    
    # !/usr/bin/env python
    # -*- coding: utf-8 -*-
    from flask import Flask, abort, request, jsonify
    import jenkins
    
    server = jenkins.Jenkins('http://10.0.1.xxx:80', username='xxx', password='fuluxxxx')
    
    app = Flask(__name__)
    
    tasks = []
    
    # it的測試集合http請求接口
    @app.route('/test/it', methods=['get'])
    def robot_Test_It():
        server.build_job('CI_FuluOrder', {'environment': 'IT'})
        return jsonify({'result': 'success'})
    
    # pre的測試集合http請求接口
    @app.route('/test/pre', methods=['get'])
    def robot_Test_Pre():
        server.build_job('CI_FuluOrder', {'environment': 'PRE'})
        return jsonify({'result': 'success'})
    
    if __name__ == "__main__":
        # 將host設置為0.0.0.0,則外網用戶也可以訪問到這個服務
        app.run(host="0.0.0.0", port=80, debug=True)
    
    

    7.3 將上述flask封裝的接口打包成鏡像
    根據dockerfile生成鏡像

    FROM python:3.6
    WORKDIR /app
    EXPOSE 80
    COPY .	.
    RUN pip install -r requirements.txt 
    ENTRYPOINT ["python","robotTestApi.py"]
    
    

    7.4 將鏡像部署到kubernetes,對外提供服務
    供觸發測試執行的調用入口 ,這部分封裝的接口部署在本地的k8s集群下ordermiddle

    IT: http://ordermiddle.xxx.cn/test/it
    pre:http://ordermiddle.xxx.cn/test/pre

    7.5 被測項目的CICD集成接口自動化測試
    gitlab目前採取直接對CICD腳本加入測試步驟,在部署到容器30秒后(考慮到容器在K8S啟動時間)調用測試接口

    7.6 發送測試報告

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理
    【其他文章推薦】

    USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

    台北網頁設計公司這麼多該如何選擇?

    ※智慧手機時代的來臨,RWD網頁設計為架站首選

    ※評比南投搬家公司費用收費行情懶人包大公開

    ※幫你省時又省力,新北清潔一流服務好口碑

    ※回頭車貨運收費標準

  • Java 多線程基礎(十)interrupt()和線程終止方式

    Java 多線程基礎(十)interrupt()和線程終止方式

    一、interrupt() 介紹

    interrupt() 定義在 Thread 類中,作用是中斷本線程

    本線程中斷自己是被允許的;其它線程調用本線程的 interrupt() 方法時,會通過 checkAccess() 檢查權限。這有可能拋出 SecurityException 異常。
    如果本線程是處於阻塞狀態:調用線程的 wait() , wait(long) 或 wait(long, int) 會讓它進入等待(阻塞)狀態,或者調用線程的 join(),join(long),join(long, int),sleep(long),sleep(long, int) 也會讓它進入阻塞狀態。若線程在阻塞狀態時,調用了它的 interrupt() 方法,那麼它的“中斷狀態”會被清除並且會收到一個 InterruptedException 異常。例如,線程通過 wait() 進入阻塞狀態,此時通過 interrupt() 中斷該線程;調用 interrupt() 會立即將線程的中斷標記設為 true,但是由於線程處於阻塞狀態,所以該“中斷標記”會立即被清除為 “false”,同時,會產生一個 InterruptedException 的異常
    如果線程被阻塞在一個 Selector 選擇器中,那麼通過 interrupt() 中斷它時;線程的中斷標記會被設置為 true,並且它會立即從選擇操作中返回。
    如果不屬於前面所說的情況,那麼通過 interrupt() 中斷線程時,它的中斷標記會被設置為 true。
    中斷一個“已終止的線程”不會產生任何操作。

    二、線程終止方式

    Thread中的 stop() 和 suspend() 方法,由於固有的不安全性,已經建議不再使用!
    下面,我先分別討論線程在“阻塞狀態”和“運行狀態”的終止方式,然後再總結出一個通用的方式。

    (一)、終止處於“阻塞狀態”的線程.

    通常,我們通過“中斷”方式終止處於“阻塞狀態”的線程
    當線程由於被調用了 sleep(),,wait(),join() 等方法而進入阻塞狀態;若此時調用線程的 interrupt() 將線程的中斷標記設為 true。由於處於阻塞狀態,中斷標記會被清除,同時產生一個InterruptedException 異常。將 InterruptedException 放在適當的位置就能終止線程,形式如下:

    public void run() {
        try {
            while (true) {
                // 執行業務
            }
        } catch (InterruptedException ie) {  
            // 由於產生InterruptedException異常,退出while(true)循環,線程終止!
        }
    }

    說明:

    在while(true)中不斷的執行業務代碼,當線程處於阻塞狀態時,調用線程的 interrupt() 產生 InterruptedException 中斷。中斷的捕獲在 while(true) 之外,這樣就退出了 while(true) 循環!

    注意:

    對 InterruptedException 的捕獲務一般放在 while(true) 循環體的外面,這樣,在產生異常時就退出了 while(true) 循環。否則,InterruptedException 在 while(true) 循環體之內,就需要額外的添加退出處理。形式如下: 

    public void run() {
        while (true) {
            try {
                // 執行任務...
            } catch (InterruptedException ie) {  
                // InterruptedException在while(true)循環體內。
                // 當線程產生了InterruptedException異常時,while(true)仍能繼續運行!需要手動退出
                break;
            }
        }
    }

    說明:

    上面的 InterruptedException 異常的捕獲在 whle(true) 之內。當產生 InterruptedException 異常時,被 catch 處理之外,仍然在 while(true) 循環體內;要退出 while(true) 循環體,需要額外的執行退出while(true) 的操作。

    (二)、終止處於“運行狀態”的線程

    通常,我們通過“標記”方式終止處於“運行狀態”的線程。其中,包括“中斷標記”和“額外添加標記”。

    1、通過“中斷標記”終止線程

    public void run() {
        while (!isInterrupted()) {
            // 執行任務...
        }
    }

    說明:

    isInterrupted() 是判斷線程的中斷標記是不是為 true。當線程處於運行狀態,並且我們需要終止它時;可以調用線程的 interrupt() 方法,使用線程的中斷標記為 true,即 isInterrupted() 會返回true。此時,就會退出while循環。
    注意:interrupt() 並不會終止處於“運行狀態”的線程!它會將線程的中斷標記設為 true。

    2、通過“額外添加標記”終止線程

    private volatile boolean flag= true;
    protected void stopTask() {
        flag = false;
    }
    public void run() {
        while (flag) {
            // 執行任務...
        }
    }

    說明:

    線程中有一個 flag 標記,它的默認值是 true;並且我們提供 stopTask() 來設置 flag 標記。當我們需要終止該線程時,調用該線程的 stopTask() 方法就可以讓線程退出 while 循環。
    注意:將 flag 定義為 volatile 類型,是為了保證 flag 的可見性。即其它線程通過 stopTask() 修改了 flag 之後,本線程能看到修改后的 flag 的值。

    (三)、通過方式

    綜合線程處於“阻塞狀態”和“運行狀態”的終止方式,比較通用的終止線程的形式如下:

    public void run() {
        try {
            // 1. isInterrupted()保證,只要中斷標記為true就終止線程。
            while (!isInterrupted()) {
                // 執行任務...
            }
        } catch (InterruptedException ie) {  
            // 2. InterruptedException異常保證,當InterruptedException異常產生時,線程被終止。
        }
    }
    1、isInterrupted()保證,只要中斷標記為 true 就終止線程。
    2、InterruptedException 異常保證,當 InterruptedException 異常產生時,線程被終止。

    三、示例

    public class InterruptTest {
        public static void main(String[] args) {
            try {
                Thread t1 = new MyThread("t1"); // 新建線程t1
                System.out.println(t1.getName() + "[" + t1.getState() + "] is new.");
                
                t1.start();// 啟動線程t1
                System.out.println(t1.getName() + "[" + t1.getState() + "] is started.");
                
                Thread.sleep(300);// 休眠300毫秒,然後主線程給t1發“中斷”指令,查看t1狀態
                t1.interrupt();
                System.out.println(t1.getName() + "[" + t1.getState() + "] is interrupted.");
                
                Thread.sleep(300);// 休眠300毫秒,然後查看t1狀態
                System.out.println(t1.getName() + "[" + t1.getState() + "] is interrupted now.");
            }catch(InterruptedException e) {
                e.printStackTrace();
            }
        }
    }
    class MyThread extends Thread{
        public MyThread(String name) {
            super(name);
        }
        @Override
        public void run() {
            try {
                int i = 0;
                while(!isInterrupted()) {
                    Thread.sleep(100);// 休眠100毫秒
                    ++i;
                    System.out.println(Thread.currentThread().getName() + "[" + this.getState() + "] loop " + i);
                }
            }catch(InterruptedException e) {
                System.out.println(Thread.currentThread().getName() + "[" + this.getState() + "] catch InterruptedException");
            }
        }
    }
    // 運行結果
    t1 [ NEW ] is new.
    t1 [ RUNNABLE ] is started.
    t1 [ RUNNABLE ] loop 1
    t1 [ RUNNABLE ] loop 2
    t1 [ RUNNABLE ] loop 3
    t1 [ RUNNABLE ] catch InterruptedException
    t1 [ TERMINATED ] is interrupted.
    t1 [ TERMINATED ] is interrupted now.

    說明:

    ①、主線程 main 中通過 new MyThread(“t1”) 創建線程 t1,之後通過 t1.start() 啟動線程 t1。
    ②、t1 啟動之後,會不斷的檢查它的中斷標記,如果中斷標記為“false”;則休眠 100ms。
    ③、t1 休眠之後,會切換到主線程main;主線程再次運行時,會執行t1.interrupt()中斷線程t1。t1收到中斷指令之後,會將t1的中斷標記設置“false”,而且會拋出 InterruptedException 異常。在 t1 的 run() 方法中,是在循環體 while 之外捕獲的異常;因此循環被終止。

    我們對上面的結果進行小小的修改,將run()方法中捕獲InterruptedException異常的代碼塊移到while循環體內。

    public class InterruptTest {
        public static void main(String[] args) {
            try {
                Thread t1 = new MyThread("t1"); // 新建線程t1
                System.out.println(t1.getName() + " [ " + t1.getState() + " ] is new.");
                
                t1.start();// 啟動線程t1
                System.out.println(t1.getName() + " [ " + t1.getState() + " ] is started.");
                
                Thread.sleep(300);// 休眠300毫秒,然後主線程給t1發“中斷”指令,查看t1狀態
                t1.interrupt();
                System.out.println(t1.getName() + " [ " + t1.getState() + " ] is interrupted.");
                
                Thread.sleep(300);// 休眠300毫秒,然後查看t1狀態
                System.out.println(t1.getName() + " [ " + t1.getState() + " ] is interrupted now.");
            }catch(InterruptedException e) {
                e.printStackTrace();
            }
            
        }
    }
    class MyThread extends Thread{
        public MyThread(String name) {
            super(name);
        }
        @Override
        public void run() {
            int i = 0;
            while(!isInterrupted()) {
                try {
                    Thread.sleep(100); // 休眠100ms
                } catch (InterruptedException ie) {  
                    System.out.println(Thread.currentThread().getName() +" [ "+this.getState()+" ] catch InterruptedException.");  
                }
                i++;
                System.out.println(Thread.currentThread().getName()+" [ "+this.getState()+" ] loop " + i);  
            }
        }
    }
    // 運行結果
    t1 [ NEW ] is new.
    t1 [ RUNNABLE ] is started.
    t1 [ RUNNABLE ] loop 1
    t1 [ RUNNABLE ] loop 2
    t1 [ TIMED_WAITING ] is interrupted.
    t1 [ RUNNABLE ] catch InterruptedException.
    t1 [ RUNNABLE ] loop 3
    t1 [ RUNNABLE ] loop 4
    t1 [ RUNNABLE ] loop 5
    t1 [ RUNNABLE ] loop 6
    t1 [ RUNNABLE ] is interrupted now.
    t1 [ RUNNABLE ] loop 7
    ...... // 無限循環

    說明:

    程序進入了死循環了。

    這是因為,t1在“等待(阻塞)狀態”時,被 interrupt() 中斷;此時,會清除中斷標記(即 isInterrupted() 會返回 false),而且會拋出 InterruptedException 異常(該異常在while循環體內被捕獲)。因此,t1理所當然的會進入死循環了。
    解決該問題,需要我們在捕獲異常時,額外的進行退出 while 循環的處理。例如,在 MyThread 的 catch(InterruptedException) 中添加 break 或 return 就能解決該問題。

    下面是通過“額外添加標記”的方式終止“狀態狀態”的線程的示例:

    public class InterruptTest {
        public static void main(String[] args) {
            try {
                MyThread t1 = new MyThread("t1"); // 新建線程t1
                System.out.println(t1.getName() + " [ " + t1.getState() + " ] is new.");
                
                t1.start();// 啟動線程t1
                System.out.println(t1.getName() + " [ " + t1.getState() + " ] is started.");
                
                Thread.sleep(300);// 休眠300毫秒,然後主線程給t1發“中斷”指令,查看t1狀態
                t1.stopTask();
                System.out.println(t1.getName() + " [ " + t1.getState() + " ] is interrupted.");
                
                Thread.sleep(300);// 休眠300毫秒,然後查看t1狀態
                System.out.println(t1.getName() + " [ " + t1.getState() + " ] is interrupted now.");
            }catch(InterruptedException e) {
                e.printStackTrace();
            }
            
        }
    }
    class MyThread extends Thread{
        private volatile boolean flag = true;
        public void stopTask() {
            flag = false;
        }
        public MyThread(String name) {
            super(name);
        }
        @Override
        public void run() {
            synchronized (this) {
                int i = 0;
                while(flag) {
                    try {
                        Thread.sleep(100); // 休眠100ms
                    } catch (InterruptedException ie) {  
                        System.out.println(Thread.currentThread().getName() +" [ "+this.getState()+" ] catch InterruptedException.");  
                        break;
                    }
                    i++;
                    System.out.println(Thread.currentThread().getName()+" [ "+this.getState()+" ] loop " + i);  
                }
            }
            
        }
    }
    // 運行結果
    t1 [ NEW ] is new.
    t1 [ RUNNABLE ] is started.
    t1 [ RUNNABLE ] loop 1
    t1 [ RUNNABLE ] loop 2
    t1 [ RUNNABLE ] loop 3
    t1 [ RUNNABLE ] is interrupted.
    t1 [ TERMINATED ] is interrupted now.

    四、interrupted() 和 isInterrupted()的區別

    interrupted() 和 isInterrupted()都能夠用於檢測對象的“中斷標記”。
    區別是,interrupted() 除了返回中斷標記之外,它還會清除中斷標記(即將中斷標記設為 false);而 isInterrupted() 僅僅返回中斷標記

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

    南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!

    ※教你寫出一流的銷售文案?

    ※超省錢租車方案

  • JVM 總結

    JVM 總結

    JVM GC 總結。

    周志明大大的《深入理解Java虛擬機》出第三版了,早早的買了這本書,卻一直沒有花時間看。近來抽空溫習了一下,感覺又有了新的收穫。這裏簡單總結下。

    GC的由來

    由於的動態性,操作系統將堆交由給了開發者自己管理,手動申請,手動釋放。對於C++,則是將這個權限繼續交給了開發者,而對於Java,則是將這個過程自動化了。為什麼要釋放內存呢?最簡單的原因就是操作系統一共給你了4G的內存空間,你需要的時候,就去借用。有借有還,再借不難,只借不還,最後4G內存空間被用完了,你就無法再申請新的內存了。內存泄漏,就是只借不還。

    JVM在操作系統與開發者之間又封裝了一層,間接的接管了內存的劃分。同時也將堆統一管理起來,使得開發者只管借用內存,由JVM負責回收,了解JVM的回收機制,明白它的原理,能讓開發者在不同的場景下,定製不同的回收規則,提高回收效率。

    關於GC的思考

    如果讓我設計一個能自動回收垃圾的虛擬機,我會怎麼設計呢?

    • 什麼時候開始回收?
    • 怎麼判斷這部分內存可以回收?
    • 怎麼回收這部分的垃圾?

    這3個問題,也是JVM開發者一直在思考的問題。之前簡單了解過JVM,就知道JVM會有Stop The World的問題,這對於用戶體驗來說非常不好,其根本原因便是因為在回收垃圾的時候,用戶線程可能會修改這部分內存,如果不暫停用戶線程,則可能會導致嚴重的問題,而如何減少Stop The World的時候,甚至讓其消失,是各個垃圾回收器一直追求的目標。

    哪些內存可以回收?

    對於一個對象來說,當不存在任何一個引用能夠訪問到這個對象的時候,則說明這個對象可以進行回收。因為沒有任何引用指向這個對象,那麼這個對象就不能被讀或寫。

    • 引用計數法

      前面說判斷一個對象可以被回收的標準就是是否還有引用指向這個對象,所以最容易想到的便是引用計數法,通過判斷一個對象的引用數量即可,可是這樣無法判斷兩個循環引用的對象。

    • 可達性分析

      可達性分析指的是從目前程序中正在使用的所有引用的對象出發,循環遍歷所有能找到的對象。

      作為出發的點的這些對象,被稱為GC Roots

      GC Roots主要包括以下幾種:

      • 在虛擬機棧(比如棧幀中的本地遍歷表)中引用的對象
      • 靜態屬性引用的對象
      • 常量池引用對象(比如
        String Table
      • 本地方法棧引用的對象
      • Java虛擬機內部的引用對應的對象
      • 所有被同步鎖持有的對象

      總體來說,就是當前程序中正在被使用的引用所指向的對象會被作為GC Roots

    GC Roots出發,依次查找,就能標記出當前存活的對象。但是標記這個過程,細節上依然存在問題:

    • STW : 標記是通過引用查找對象的,如果在標記過程中,用戶修改了引用的對象,那麼會導致不可預估的後果,因此一般標記過程中,是會STW

    • 跨代標記 : 現在的垃圾回收器,大多數都是分代,或者分區域回收的,也就是說,可能進行垃圾回收的時候,不是標記所有的垃圾,而是標記一部分,比如老年代或者新生代。此時就存在一個問題,跨代引用。比如一個新生代的對象,僅僅被一個老年代對象引用的話,對於Yong GC來說,是不會掃描老年代對象的,這個時候就會造成誤判。解決這個誤判的方法便是記憶集(Remembered Set),記憶集通過AOP技術生成寫屏障來維護。

      前面說了從GC Roots開始掃面,那分代收集的,怎麼知道哪些對象是新生代的,哪些對象是老年代的呢?因為GC Roots是包含了所有引用的。後面想想,其實對象的分代信息是存放在對象頭裡面的。在掃描GC Roots的時候,只保留新生代的對象即可。這樣基本能保證掃描到的是新生代對象,然後老年代對新生代引用交給記憶集實現就行(自己的猜測,沒有證據)

      JVM書中說道通過AOP生成的寫屏障會使得只要有更新操作,無論更新的是不是老年代對新生代對象的引用,都會使卡表變髒,不過這樣的代價相對來說是能接受的。

    • GC Roots 需要掃描的引用過多 :隨着現在Java應用越做越大,Java堆也越來越大,GC Roots的掃描是需要STW的,如果每次GC都逐個掃描,會非常的浪費時間。解決這個問題的辦法就是OopMap,使用OopMap記錄應用程序所存放的引用,每次需要GC的時候掃描這個OopMap即可生成對應的GC RootsOopMap通過安全點和安全區域來維護,只有在安全點或安全區域的時候,才更新OopMap和進行垃圾回收。

    • 併發標記過程可能丟失存活的對象 :從CMSG1,都將從GC Roots出發標記存活對象的過程修改成併發的,這樣會需要解決的問題就是標記過程中如果用戶修改了對象的引用,可能會導致本應該存活的對象”丟失“(可以通過三色標記分析),相應的解決方案便是破壞存活對象消失的必要條件,分別是增量更新(Incremental Upate)和原始快照(Snapshot At The Begin,SATB),增量更新破壞的是第一個條件,每插入一個引用,就都記錄下來,而原始快照破壞的是第二個條件,每刪除一個,都將其記錄下來。

      增量更新和併發快照也是通過前面所說的AOP技術生成寫屏障來維護

    通過以上分析以及解決方案,基本明白了怎麼標記那些內存可以回收,接下來需要分析的就是什麼時候開始回收

    什麼時候開始內存回收?

    對於內存回收來說,開始也需要有一定的講究,理論上來說,隨時隨地都可以開始內存回收,但是如果回收時使用的內存過多,會導致GC時間過程,進而STW時間也會很長,如果回收過於頻繁,又會導致吞吐量下降,畢竟每次掃描GC Roots都回STW的。

    同時,前面還說過,對於用戶線程來說,需要將用戶線程運行到安全點,更新對應的OopMap,才能開始垃圾回收。

    因此,對應何時GC,有以下幾點分析:

    • 對於新生代來說,一般新生代滿了(Eden + Survivor1)就會開始進行(Yong/Minor GC

    • 對於老年代來說,一般是老年代滿了了會開始Full/Major GC

      注意:這裏的滿了,需要根據具體的回收器不同,來衡量真正的滿,對於沒有併發過程的GC,老年代滿一般指的是真正到達100%,已經無法分配內存了,對於有併發過程的GC,則需要預留出來空間給用戶線程在併發過程中同時申請內存,如果預留內存過小,則會使用非併發垃圾回收器進行Full GC

      CMS: -XX:CMSInitiatingOccupancyFraction 設置,默認92% (JDK 8),表示當老年代垃圾佔用到92%就開始老年代回收, JDK 9后便無法使用CMS

      G1: -XX:G1ReservePercent設置,默認為10,表示當整個Java堆使用到達90%,就開始回收。同時配合的參數還有-XX:InitiatingHeapOccupancyPercent=n,默認值為45,表示使用率到達45%就啟動標記周期。這裏的GCMixed GC

      一般來說,只有CMS才有Major GC,其他老年代GC都會回收整個Java堆,也稱為Full GC

    • 統計得到的Minor GC晉陞到老年代的平均大小大於老年代剩餘的空間。(JDK 6 之後已經刪除了擔保規則)

    • GC併發失敗(concurrent mode failure): 情況如前面說的,併發標記過程中,又出現了新生代晉陞的情況,但是此時老年代剩下的內存不足夠放下晉陞的對象的時候,會生導致Full GC

      這裏的Full GC和情況1中說到達預留空間的GC不一樣,情況1是正常進行的GC,而這個併發失敗卻是GC過程中出現了異常,一般需要切換到非併發GC,此時性能會大大下降

    • 方法區區域被使用完畢:JDK 8之後將方法區從Perm Gen替換成了元空間,一般來說元空間大小理論上等於本地內存大小,不過元空間有一個默認初始值,到達默認初始值后,會通過Full GC擴大

      注意:G1只有Yong GCMixed GC。沒有Full GC的概念,也就是說如果需要回收方法區的話,只能退化為Serial GC進行Full GC

      CMS可以通過-XX:+CMSClassUnloadingEnabled設置併發回收方法區

    • 最大連續空間裝不下大對象:對於CMS,基於標記-清除算法來說,即使空間足夠,但是由於內存碎片,裝不下分配的大對象時,會進行一次Full GC,對於G1來說,當分配巨型對象的時候,如果在老年代無法找到連續的Humongous的時候,會進行Full GC

    • 用戶執行System.gc(),可以通過-XX:+DisableExplicitGC屏蔽

    怎麼回收這些內存

    最後一步便是怎麼回收這些內存。怎麼回收,書中介紹不多,總體來說有以下三種:

    • 標記-清除(
      Mark-Sweep):最原始的方法,實現簡單,不用移動對象,很容易做到不用
      Stop The Word,但是缺點也很致命,容易產生內存碎片。標記清除的速度一般,
      Mark階段與活對象的數量成正比,
      Sweep階段與整堆大小成正比。目前只有
      CMS使用這種回收方案
    • 標記-複製(
      Mark-Copying):基於標記-清除修改的垃圾回收算法,需要移動對象。 前期標記,然後複製活下來的對象到另一個區域,再總體回收整塊區域。標記複製算法對於新生代這種專門放朝生夕死的對象效率非常高,因為存活下來的對象少,所以
      Mark階段和
      Copying階段花費的時間都會比較少,幾乎所有的分代
      GC新生代都是使用的這種算法
    • 標記-整理(
      Mark-Compact): 基於標記-清除算法修改的垃圾回收器,需要移動對象。前期標記,然後將所有對象移動到一起,再對剩餘的區域進行回收,速度最慢,但是不會產生內存碎片。

    對於新生代使用標記-複製算法,是毋庸置疑的。但是對於老年代,使用標記清除還是標記整理,需要有一定的考量。因為使用標記-清除,不用移動對象,速度會相對來說比較快,但是由於存在內存碎片,無法使用指針碰撞的方式分配內存,而不得不使用“分區空閑分配鏈表”來解決內存分配的問題,這樣會對在內存分配帶來一定的效率影響,而標記-整理算法需要移動對象,特別是對於老年代這種大對象來說,移動這些對象將是一種極為負重的操作,但是標記-整理不會產生內存碎片。

    因此,基於以上考慮,對於CMS這種側重響應速度,致力於減少STW時間的回收器來說,選擇了標記-清除算法,但是由於內存分配是一個非常頻繁的操作,使用”分區空閑分配鏈表”會降低整個垃圾回收器的吞吐量,因此,對於Parllel Scavenge這種注重回收吞吐的垃圾回收器來說,選擇了標記-整理算法。當然,對於G1則是吞吐和響應速度都比較注重,權衡之下,選擇了標記-整理(全局)算法。

    GC的概念,到這裏基本總結完畢,但是,如果僅僅是理論,只是讓我們記着一些概念性的東西,接下來,我會結合CMSG1GC日誌以及《深入理解JVM》第四章的內容,聊一聊如何分析以及查看GC過程,簡單介紹如果進行GC調優。

    個人公眾號:

    不定期更新一些經典Java書籍總結。

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※Google地圖已可更新顯示潭子電動車充電站設置地點!!

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※別再煩惱如何寫文案,掌握八大原則!

    網頁設計最專業,超強功能平台可客製化

  • 聯合國示警:氣候變遷加劇阿拉伯地區衝突局勢

    環境資訊中心綜合外電;姜唯 編譯;林大利 審校

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※帶您來了解什麼是 USB CONNECTOR  ?

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    ※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!

    ※綠能、環保無空污,成為電動車最新代名詞,目前市場使用率逐漸普及化

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※教你寫出一流的銷售文案?

  • 美國迪士尼致力環保 將停用一次用塑膠吸管

    摘錄自2018年7月27日蘋果日報美國報導

    美國娛樂巨頭華特迪士尼公司( Walt Disney Company)昨天(26日)宣示,明年中期以前,迪士尼樂園等將停止使用一次性塑膠吸管。鑑於塑料垃圾造成的海洋污染日益嚴重,為保護地球環境,歐美正在推廣相同的措施。

    迪士尼指出,此舉將可每年減少1.75億根以上的吸管、1.3億根攪拌棒,強調本次嘗試是迪士尼履行環保責任的一環。

    共同社則報導,據與迪士尼方面簽訂許可協議的東方樂園公司稱,由於位於千葉縣浦安市的東京迪士尼度假區,運營母體不同,因此不受此次華特迪士尼公司決定的影響。然而該公司也指,「正在研究減少塑料廢棄物」。

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※為什麼 USB CONNECTOR 是電子產業重要的元件?

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※台北網頁設計公司全省服務真心推薦

    ※想知道最厲害的網頁設計公司"嚨底家"!

    新北清潔公司,居家、辦公、裝潢細清專業服務

    ※推薦評價好的iphone維修中心

  • 葡西法三國簽署能源互聯協議 法國將關閉所有煤電廠

    摘錄自2018年7月28日新華社報導

    葡萄牙、西班牙和法國27日在葡萄牙首都里斯本舉行的第二屆能源互聯峰會上正式簽署了三國能源互聯協議。

    根據協議,西葡兩國同歐洲的能源互聯水平到2020年達到10%,2030年達到15%。此外,歐盟委員會將投資5.7億歐元在西班牙以北的比斯開灣建造一個用於連接西班牙、葡萄牙和法國的電力互聯項目。

    葡萄牙總理科斯塔、西班牙首相桑切斯和法國總統馬克宏在會後舉行了聯合記者會。馬克宏表示,最晚到2022年,法國將關閉所有煤電廠。

    科斯塔說,葡萄牙計劃到2020年使清潔能源占比超過60%,葡萄牙在逐步減少煤電行業投入的同時尋求清潔能源出口。

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

    台北網頁設計公司這麼多該如何選擇?

    ※智慧手機時代的來臨,RWD網頁設計為架站首選

    ※評比南投搬家公司費用收費行情懶人包大公開

    ※幫你省時又省力,新北清潔一流服務好口碑

    ※回頭車貨運收費標準

  • 核外洩「鈾污染」超標1300倍 美國西屋工廠地板破8公分

    摘錄自2018年7月26日東森新聞報導

    美國南卡羅萊納州西屋公司(Westinghouse)驚傳核外洩,放射性鈾已經污染廠區下方的土壤,程度是一般土壤環境中鈾含量的約1300倍。據《美聯社》報導,核燃料生產廠的鋼筋水泥地板破洞約8公分,導致放射性鈾外洩。美國疾病控管及防治中心的資料顯示,若水中的鈾含量超標,可能造成飲用者腎臟受損。

    美國聯邦核能規範委員會(Nuclear Regulatory Commission,NRC)已經證實此事。該廠位於南卡首府、最大城哥倫比亞市的南邊,放射性的鈾是用來製造核燃料棒。

    西屋公司二年前曾因工廠防治空污裝置中的鈾累積過多,而關閉部分廠區。

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

    南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!

    ※教你寫出一流的銷售文案?

    ※超省錢租車方案

  • 保護復活島生態文化 智利限遊客停留最多30日

    摘錄自2018年7月30日自由時報報導

    智利國會今年3月立法,強化旅客登復活島規範,並限制外來人口數量,限令於8月1日正式生效。

    法新社報導,根據新法令,外籍人士或非當地原住民的智利人,在島上停留的期限從原本的90天降至30天,僅原住民拉帕努伊人(Rapa Nui)的直系血親,才可在島上長期居住。此外,公務員、政府相關組織人士,以及在當地從事獨立經濟活動者和家人,也獲准在島上居住。觀光客則須在抵達時,出示飯店預約證明或當地人的邀請函,日後也將訂定島上最高人數限制。

    去年的人口普查資料顯示,島上居民已增至7750人,比數十年前多出一倍以上。

    此外,人潮除了破壞文化樣貌和生態平衡,也使當地的基礎服務瀕臨極限。當地政府的環境顧問古特雷茲(Ana Maria Gutierrez)舉例說明,復活島居民10年前每年約產生1.5噸廢棄物,但如今一天就高達2.5噸,因為居民的環保意識相當薄弱。

    市長艾德蒙茲一方面認同新法是「好的開始」,但另一方面卻直指新法「規模太小」,不足以保護島上文化、遺產和特色,甚至指稱許多拉帕努伊人企盼的是,全面禁止新住民到來。

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※Google地圖已可更新顯示潭子電動車充電站設置地點!!

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※別再煩惱如何寫文案,掌握八大原則!

    網頁設計最專業,超強功能平台可客製化

  • 季節變化間顯現 科學家找到人為暖化的「指紋」

    環境資訊中心綜合外電;姜唯 編譯;林大利 審校

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    南投搬家公司費用需注意的眉眉角角,別等搬了再說!

    新北清潔公司,居家、辦公、裝潢細清專業服務

    ※教你寫出一流的銷售文案?

  • 卡爾大火極具破壞性 加州史上第9大

    摘錄自2018年7月31日中央社加州報導

    美國加州北部野火「卡爾大火」(Carr Fire)已奪走至少六條人命,在今夏極度乾燥的美西地區數十起火災中災情最嚴重,森林防火廳官員表示,據信這是加州史上第九大破壞性大火。

    美聯社報導,加州森林防火廳(CalFire)發言人麥克林(Scott Mclean)表示,這場大火目前據信是加州史上第九大破壞性大火,燒毀至少818棟房屋和311棟附屬建築物,並造成165棟房屋受損。

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※想知道最厲害的網頁設計公司"嚨底家"!

    ※幫你省時又省力,新北清潔一流服務好口碑

    ※別再煩惱如何寫文案,掌握八大原則!

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!