標籤: 網頁設計公司

  • JSR133提案-修復Java內存模型

    目錄

    • 1. 什麼是內存模型?
    • 2. JSR 133是關於什麼的?
    • 3. 再談指令重排序
    • 4.同步都做了什麼?
    • 5. final字段在舊的內存模型中為什麼可以改變?
    • 6.“初始化安全”與final字段?
    • 7. 增強volatile語義
    • 8. 修復“double-checked locking”的問題
    • 9. 為什麼要關心這些問題?
    • 延伸閱讀

    1. 什麼是內存模型?

    在多處理器系統中,為了提高訪問數據的速度,通常會增加一層或多層高速緩存(越靠近處理器的緩存速度越快)。
    但是緩存同時也帶來了許多新的挑戰。比如,當兩個處理器同時讀取同一個內存位置時,看到的結果可能會不一樣?
    在處理器維度上,內存模型定義了一些規則來保證當前處理器可以立即看到其他處理器的寫入,以及當前處理器的寫入對其他處理器立即可見。這些規則被稱為緩存一致性協議
    有些多處理器架構實現了強一致性,所有的處理器在同一時刻看到的同一內存位置的值是一樣的。
    而其他處理器實現的則是較弱的一致性,需要使用被稱為內存屏障的特殊機器指令使來實現最終一致性(通過刷新緩存或使緩存失效)。
    這些內存屏障通常在釋放鎖和獲取鎖時被執行;對於高級語言(如Java)的程序員來說,它們是不可見的。

    在強一致性的處理器上,由於減少了對內存屏障的依賴,編寫併發程序會更容易一些。
    但是,相反的,近年來處理器設計的趨勢是使用較弱的內存模型,因為放寬對緩存一致性的要求可以使得多處理器系統有更好的伸縮性和更大的內存。

    此外,編譯器、緩存或運行時還被允許通過指令重排序改變內存的操作順序(相對於程序所表現的順序)。
    例如,編譯器可能會往後移動一個寫入操作,只要移動操作不改變程序的原本語義(as-if-serial語義),就可以自由進行更改。
    再比如,緩存可能會推遲把數據刷回到主內存中,直到它認為時機合適了。
    這種靈活的設計,目的都是為了獲得得最佳的性能,
    但是在多線程環境下,指令重排會使得跨線程可見性的問題變的更複雜。

    為了方便理解,我們來看個代碼示例:

    Class Reordering {
      int x = 0, y = 0;
      //thread A
       public void writer() {
            x = 1;
            y = 2;
        }
    
        //thread B
        public void reader() {
            int r1 = y;
            int r2 = x;
         }
    }
    

    假設這段代碼被兩個線程併發執行,線程A執行writer(),線程B執行reader()。
    如果線程B在reader()中看到了y=2,那麼直覺上我們會認為它看到的x肯定是1,因為在writer()中x=1y=2之前 。
    然而,發生重排序時y=2會早於x=1執行,此時,實際的執行順序會是這樣的:

    y=2;
    int r1=y;
    int r2=x;
    x=1;
    

    結果就是,r1的值是2,r2的值是0。
    從線程A的角度看,x=1與y=2哪個先執行結果是一樣的(或者說沒有違反as-if-serial語義),但是在多線程環境下,這種重排序會產生混亂的結果。

    我們可以看到,高速緩存指令重排序提高了效率的同時也引出了新的問題,這顯然使得編寫併發程序變得更加困難。
    Java內存模型就是為了解決這類問題,它對多線程之間如何通過內存進行交互做了明確的說明。
    更具體點,Java內存模型描述了程序中的變量與實際計算機的存儲設備(包括內存、緩存、寄存器)之間交互的底層細節。
    例如,Java提供了volatile、final和 synchronized等工具,用於幫助程序員向編譯器表明對併發程序的要求。
    更重要的是,Java內存模型保證這些同步工具可以正確的運行在任何處理器架構上,使Java併發應用做到“Write Once, Run Anywhere”。

    相比之下,大多數其他語言(例如C/C++)都沒有提供显示的內存模型。
    C程序繼承了處理器的內存模型,這意味着,C語言的併發程序在一個處理器架構中可以正確運行,在另外一個架構中則不一定。

    2. JSR 133是關於什麼的?

    Java提供的跨平台內存模型是一個雄心勃勃的計劃,在當時是具有開創性的。
    但不幸的是,定義一個即直觀又一致的內存模型比預期的要困難得多。
    自1997年以來,在《Java語言規範》的第17章關於Java內存模型的定義中發現了一些嚴重的缺陷。
    這些缺陷使一些同步工具產生混亂的結果,例如final字段可以被更改。
    JSR 133為Java語言定義了一個新的內存模型,修復了舊版內存模型的缺陷(修改了final和volatile的語義)
    JSR的主要目標包括不限於這些:

    1. 正確同步的語義應該更直觀更簡單。
    2. 應該定義不完整或不正確同步的語義,以最小化潛在的安全隱患
    3. 程序員應該有足夠的自信推斷出多線程程序如何與內存交互的。
    4. 提供一個新的初始化安全性保證(initialization safety)。
      如果一個對象被正確初始化了(初始化期間,對象的引用沒有逃逸,比如構造函數里把this賦值給變量),那麼所有可以看到該對象引用的線程,都可以看到在構造函數中被賦值的final變量。這不需要使用synchronized或volatile。

    3. 再談指令重排序

    在許多情況下,出於優化執行效率的目的,數據(實例變量、靜態字段、數組元素等)可以在寄存器、緩存和內存之間以不同於程序中聲明的順序被移動。
    例如,線程先寫入字段a,再寫入字段b,並且b的值不依賴a,那麼編譯器就可以自由的對這些操作重新排序,在寫入a之前把b的寫入刷回到內存。
    除了編譯器,重排序還可能發生在JIT、緩存、處理器上。
    無論發生在哪裡,重排序都必須遵循as-if-serial語義,這意味着在單線程程序中,程序不會覺察到重排序的存在,或者說給單線程程序一種沒有發生過重排序的錯覺。
    但是,重排序在沒有同步的多線程程序中會產生影響。在這種程序中,一個線程能夠觀察到其他線程的運行情況,並且可能檢測到變量訪問順序與代碼中指定的順序不一致。
    大多數情況下,一個線程不會在乎另一個線程在做什麼,但是,如果有,就是同步的用武之地。

    4.同步都做了什麼?

    同步有很多面,最為程序員熟知的是它的互斥性,同一時刻只能有一個線程持有monitor。
    但是,同步不僅僅是互斥性。同步還能保證一個線程在同步塊中的寫內存操作對其他持有相同monitor的線程立即可見。
    當線程退出同步塊時(釋放monitor),會把緩存中的數據刷回到主內存,使主內存中保持最新的數據。
    當線程進入同步塊時(獲取monitor),會使本地處理器緩存失效,使得變量必須從主內存中重新加載。
    我們可以看到,之前的所有寫操作對後來的線程都是可見的。

    5. final字段在舊的內存模型中為什麼可以改變?

    證明final字段可以改變的最佳示例是String類的實現(JDK 1.4版本)。
    String對象包含三個字段:一個字符串數組的引用value、一個記錄數組中開始位置的offset、字符串長度length。
    通過這種方式,可以實現多個String/StringBuffer對象共享一個相同的字符串數組,從而避免為每個對象分配額外的空間。
    例如,String.substring()通過與原String對象共享一個數組來產生一個新的對象,唯一的不同是length和offset字段。

    String s1 = "/usr/tmp";
    String s2 = s1.substring(4); 
    

    s2和s1共享一個字符串數組”/usr/tmp”,不同的是s2的offset=4,length=4,s1的offset=0,length=8。
    在String的構造函數運行之前,根類Object的構造函數會先初始化所有字段為默認值,包括final的length和offset字段。
    當String的構造函數運行時,再把length和offset賦值為期望的值。
    但是這一過程,在舊的內存模型中,如果沒有使用同步,另一個線程可能會看到offset的默認值0,然後在看到正確的值4.
    結果導致一個迷幻的現象,開始看到字符串s2的內容是’/usr’,然後再看到’/tmp’。
    這不符合我們對final語義的認識,但是在舊內存模型中確實存在這樣的問題。
    (JDK7開始,改變了substring的實現方式,每次都會創建一個新的對象)

    6.“初始化安全”與final字段?

    新的內存模型提供一個新初始化安全( initialization safety)保障。
    意味着,只要一個對象被正確的構造,那麼所有的線程都會看到這些在構造函數中被賦值的final字段。
    “正確”的構造是指在構造函數執行期間,對象的引用沒有發生逃逸。或者說,在構造函數中沒有把該對象的引用賦值給任何變量。

    class FinalFieldExample {
      final int x;
      int y;
      static FinalFieldExample f;
      public FinalFieldExample() {
        x = 3;
        y = 4;
      }
    
      static void writer() {
        f = new FinalFieldExample();
      }
    
      static void reader() {
        if (f != null) {
          int i = f.x;
          int j = f.y;
        }
      }
    }
    

    示例中,初始化安全保證執行reader()方法的線程看到的f.x=3,因為它是final字段,但是不保證能看到y=4,因為它不是final的。
    但是如果構造函數像這樣:

    public FinalFieldExample() { // bad!
      x = 3;
      y = 4;
      global.obj = this;  //  allowing this to escape
    }
    

    初始化安全不能保證讀取global.obj的線程看到的x的值是3,因為對象引用this發生了逃逸。

    不僅如此,任何通過final字段(構造函數中被賦值的)可以觸達的變量都可以保證對其他線程可見。
    這意味着如果一個final字段包含一個引用,例如ArrayList,除了該字段的引用對其他線程可見,ArrayList中的元素對其他線程也是可見的。

    初始化安全增強了final的語義,使其更符合我們對final的直觀感受,任何情況下都不會改變。

    7. 增強volatile語義

    volatile變量是用於線程之間傳遞狀態的特殊變量,這要求任何線程看到的都是volatile變量的最新值。
    為實現可見性,禁止在寄存器中分配它們,還必須確保修改volatile后,要把最新值從緩存刷到內存中。
    類似的,在讀取volatile變量之前,必須使高速緩存失效,這樣其他線程會直接讀取主內存中的數據。
    在舊的內存模型中,多個volatile變量之間不能互相重排序,但是它們被允許可以與非volatile變量一起重排序,這消弱了volatile作為線程間交流信號的作用。
    我們來看個示例:

    Map configs;
    volatile boolean initialized = false;
    . . .
     
    // In thread A
    configs  =  readConfigFile(fileName);
    processConfigOptions( configs);
    initialized = true;
    . . .
     
    // In thread B
    while (initialized) {
        // use configs
    }
    

    示例中,線程A負責配置數據初始化工作,初始化完成后線程B開始執行。
    實際上,volatile變量initialized扮演者守衛者的角色,它表示前置工作已經完成,依賴這些數據的其他線程可以執行了。
    但是,當volatile變量與非volatile變量被編譯器放到一起重新排序時,“守衛者”就形同虛設了。
    重排序發生時,可能會使readConfigFile()中某個動作在initialized = true之後執行,
    那麼,線程B在看到initialized的值為true后,在使用configs對象時,會讀取到沒有被正確初始化的數據。
    這是volatile很典型的應用場景,但是在舊的內存模型中卻不能正確的工作。

    JSR 133專家組決定在新的內存模型中,不再允許volatile變量與其他任務內存操作一起重排序
    這意味着,volatile變量之前的內存操作不會在其後執行,volatile變量之後的內存操作不會在其前執行。
    volatile變量相當於一個屏障,重排序不能越過對volatile的內存操作。(實際上,jvm確實使用了內存屏障指令)
    增強volatile語義的副作用也很明顯,禁止重排序會有一定的性能損失。

    8. 修復“double-checked locking”的問題

    double-checked locking是單例模式的其中一種實現,它支持懶加載且是線程安全的。
    大概長這個樣子:

    private static Something instance = null;
    
    public Something getInstance() {
      if (instance == null) {
        synchronized (this) {
          if (instance == null)
            instance = new Something();//
        }
      }
      return instance;
    }
    

    它通過兩次檢查巧妙的避開了在公共代碼路徑上使用同步,從而避免了同步所帶來的性能開銷。
    它唯一的問題就是——不起作用。為什麼呢?
    instance的賦值操作會與SomeThing()構造函數中的變量初始化一起被編譯器或緩存重排序,這可能會導致把未完全初始化的對象引用賦值給instance。
    現在很多人知道把instance聲明為volatile可以修復這個問題,但是在舊的內存模型(JDK 1.5之前)中並不可行,原因前面有提到,volatile可以與非volatile字段一起重排序。

    儘管,新的內存模型修復了double-checked locking的問題,但仍不鼓勵這種實現方式,因為volatile並不是免費的。
    相比之下,Initialization On Demand Holder Class更值得被推薦,
    它不僅實現了懶加載和線程安全,還提供了更好的性能和更清晰的代碼邏輯。大概長這個樣子:

    public class Something {
        private Something() {}
        //static innner class
        private static class LazyHolder {
            static final Something INSTANCE = new Something(); //static  field
        }
    
        public static Something getInstance() {
            return LazyHolder.INSTANCE;
        }
    }
    

    這種實現完全沒有使用同步工具,而是利用了Java語言規範的兩個基本原則,
    其一,JVM保證靜態變量的初始化對所有使用該類的線程立即可見;
    其二,內部類首次被使用時才會觸發類的初始化,這實現了懶加載。

    9. 為什麼要關心這些問題?

    併發問題一般不會在測試環境出現,生成環境的併發問題又不容易復現,這兩個特點使得併發問題通常比較棘手。
    所以你最好提前花點時間學習併發知識,以確保寫出正確的併發程序。我知道這很困難,但是應該比排查生產環境的併發問題容易的多。

    延伸閱讀

    1.JSR 133 (Java Memory Model) FAQ,2004
    2.volatile關鍵字
    3.Double-checked問題
    4.內存屏障和volatile語義
    5.修復Java內存模型
    6.String substring 在jdk7中會創建新的數組
    7.Memory Ordering
    8.有MESI協議為什麼還需要volatile?
    9.Initialization On Demand Holder Class
    10.The JSR-133 Cookbook for Compiler Writers

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

    南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!

    ※教你寫出一流的銷售文案?

    ※超省錢租車方案

  • TCP 重置攻擊的工作原理

    TCP 重置攻擊的工作原理

    原文鏈接:https://fuckcloudnative.io/posts/deploy-k3s-cross-public-cloud/

    TCP 重置攻擊 是使用一個單一的數據包來執行的,只有幾個字節大小。攻擊者製作併發送一個偽造的 TCP 重置包來干擾用戶和網站的連接,欺騙通信雙方終止 TCP 連接。我們偉大的 xx 長城便運用了這個技術來進行 TCP 關鍵字阻斷。

    理解 TCP 重置攻擊並不需要具備深厚的網絡知識功底,只需要一台筆記本就可以對自己進行模擬攻擊。本文將會帶你了解 TCP 重置攻擊的原理,同時會幫助你理解很多關於 TCP 協議的特性。本文主要內容:

    • 回顧 TCP 協議的基礎知識
    • 了解 TCP 重置攻擊的原理
    • 使用一個簡單的 Python 腳本來模擬攻擊

    下面開始分析 TCP 重置攻擊原理。

    1. 偉大的 xx 長城是如何利用 TCP 重置攻擊的?

    這一段略過,原因你懂得,感興趣的請直接看原文。

    2. TCP 重置攻擊的工作原理

    在 TCP 重置攻擊中,攻擊者通過向通信的一方或雙方發送偽造的消息,告訴它們立即斷開連接,從而使通信雙方連接中斷。正常情況下,如果客戶端收發現到達的報文段對於相關連接而言是不正確的,TCP 就會發送一個重置報文段,從而導致 TCP 連接的快速拆卸。

    TCP 重置攻擊利用這一機制,通過向通信方發送偽造的重置報文段,欺騙通信雙方提前關閉 TCP 連接。如果偽造的重置報文段完全逼真,接收者就會認為它有效,並關閉 TCP 連接,防止連接被用來進一步交換信息。服務端可以創建一個新的 TCP 連接來恢復通信,但仍然可能會被攻擊者重置連接。萬幸的是,攻擊者需要一定的時間來組裝和發送偽造的報文,所以一般情況下這種攻擊只對長連接有殺傷力,對於短連接而言,你還沒攻擊呢,人家已經完成了信息交換。

    從某種意義上來說,偽造 TCP 報文段是很容易的,因為 TCP/IP 都沒有任何內置的方法來驗證服務端的身份。有些特殊的 IP 擴展協議(例如 IPSec)確實可以驗證身份,但並沒有被廣泛使用。客戶端只能接收報文段,並在可能的情況下使用更高級別的協議(如 TLS)來驗證服務端的身份。但這個方法對 TCP 重置包並不適用,因為 TCP 重置包是 TCP 協議本身的一部分,無法使用更高級別的協議進行驗證。

    儘管偽造 TCP 報文段很容易,但偽造正確的 TCP 重置報文段並完成攻擊卻並不容易。為了理解這項工作的難度,我們需要先了解一下 TCP 協議的工作原理。

    3. TCP 協議工作原理

    TCP 協議的目標是向客戶端發送一份完整的數據副本。例如,如果我的服務器通過 TCP 連接向你的計算機發送我的網站的 HTML,你的計算機的 TCP 協議棧應該能夠以我發送的形式和順序輸出 HTML

    然而現實生活中我的 HTML 內容並不是按順序發送的,它被分解成許多小塊(稱為 TCP 分組),每個小塊在網絡上被單獨發送,並被重新組合成原來發送的順序。這種重新組合后的輸出被稱為 TCP 字節流

    將分組重建成字節流並不簡單,因為網絡是不可靠的。TCP分組可能會被丟棄,可能不按發送的順序到達客戶端,也可能會被重複發送、報文損壞等等。因此,TCP 協議的職責是在不可靠的網絡上提供可靠的通信。TCP 通過要求連接雙方保持密切聯繫,持續報告它們接收到了哪些數據來實現可靠通信,這樣服務端就能夠推斷出客戶端尚未接收到的數據,並重新發送丟失的數據。

    為了進一步理解這個過程,我們需要了解服務端和客戶端是如何使用序列號(sequence numbers)來標記和跟蹤數據的。

    TCP 序列號

    TCP 協議的通信雙方, 都必須維護一個序列號(sequence numbers),對於客戶端來說,它會使用服務端的序列號來將接收到的數據按照發送的順序排列。

    當通信雙方建立 TCP 連接時,客戶端與服務端都會向對方發送一個隨機的初始序列號,這個序列號標識了其發送數據流的第一個字節。TCP 報文段包含了 TCP 頭部,它是附加在報文段開頭的元數據,序列號就包含在 TCP 頭部中。由於 TCP 連接是雙向的,雙方都可以發送數據,所以 TCP 連接的雙方既是發送方也是接收方,每一方都必須分配和管理自己的序列號。

    確認應答

    當接收方收到一個 TCP 報文段時,它會向發送方返回一個 ACK 應答報文(同時將 TCP 頭部的 ACK 標誌位置 1),這個 ACK 號就表示接收方期望從發送方收到的下一個字節的序列號。發送方利用這個信息來推斷接收方已經成功接收到了序列號為 ACK 之前的所有字節。

    TCP 頭部格式如下圖所示:

    一個確認應答報文的 TCP 頭部必須包含兩個部分:

    • ACK 標誌位置位 1
    • 包含確認應答號(ACK number)

    TCP 總共有 6 個標誌位,下文就會講到其中的 RST 標誌位。

    TCP 頭部包含了多個選項,其中有一個選擇確認選項(SACK),如果使用該選項,那麼當接收方收到了某個範圍內的字節而不是連續的字節時,就會發送 SACK 告知對方。例如,只收到了字節 1000~30004000~5000,但沒有收到 3001~3999。為了簡單起見,下文討論 TCP 重置攻擊時將忽略選擇確認選項。

    如果發送方發送了報文後在一段時間內沒有收到 ACK,就認為報文丟失了,並重新發送報文,用相同的序列號標記。這就意味着,如果接收方收到了重複的報文,可以使用序列號來判斷是否見過這個報文,如果見過則直接丟棄。網絡環境是錯綜複雜的,往往並不是如我們期望的一樣,先發送的數據包,就先到達目標主機,反而它很騷,可能會由於網絡擁堵等亂七八糟的原因,會使得舊的數據包,先到達目標主機。一般分兩種情況:

    1. 發送的數據包丟失了
    2. 發送的數據包被成功接收,但返回的 ACK 丟失了

    這兩種情況對發送方來說其實是一樣的,發送方並不能區分是哪種情況,所以只能重新發送數據包。

    只要不頻繁重複發送數據,額外的開銷基本可以忽略。

    為偽造的重置包選擇序列號

    構建偽造的重置包時需要選擇一個序列號。接收方可以接收序列號不按順序排列的報文段,但這種容忍是有限度的,如果報文段的序列號與它期望的相差甚遠,就會被直接丟棄。

    因此,一個成功的 TCP 重置攻擊需要構建一個可信的序列號。但什麼才是可信的序列號呢?對於大多數報文段(除了重置包,即 RST 包)來說,序列號是由接收方的接收窗口大小決定的。

    TCP 滑動窗口大小

    想象一下,將一台上世紀 90 年代初的古老計算機,連接到現代千兆光纖網絡。閃電般快速的網絡可以以令人瞠目結舌的速度向這台古老的計算機傳送數據,速度遠遠超過該計算機的處理能力。但並沒有什麼卵用,因為只有接收方接收並處理了報文,才能認為這個報文已經被收到了。

    TCP 協議棧有一個緩衝區,新到達的數據被放到緩衝區中等待處理。但緩衝區的大小是有限的,如果接收方的處理速度跟不上發送方的發送速度,緩衝區就會被填滿。一旦緩衝區被填滿,多餘的數據就會被直接丟棄,也不會返回 ACK。因此一旦接收方的緩衝區有了空位,發送方必須重新發送數據。也就是說,如果接收方的處理速度跟不上,發送方的發送速度再快也沒用。

    緩衝區到底有多大?發送方如何才能知道什麼時候可以一次發送更多的數據,什麼時候該一次發送很少的數據?這就要靠 TCP 滑動窗口了。接收方的滑動窗口大小是指發送方無需等待確認應答,可以持續發送數據的最大值。 假設接收方的通告窗口大小為 100,000 字節,那麼發送方可以無需等待確認應答,持續發送 100,000 個字節。再假設當發送方發送第 100,000 個字節時,接收方已經發送了前 10,000 個字節的 ACK,這就意味着窗口中還有 90,000 個字節未被確認,發送方還可以再持續發送 10,000 個字節。如果發送了 10,000 個字節的過程中沒有收到任何的 ACK,那麼接收方的滑動窗口將被填滿,發送方將停止發送新數據(可以繼續發送之前丟失的數據),直到收到相關的 ACK 才可以繼續發送。

    TCP 連接雙方會在建立連接的初始握手階段通告對方自己窗口的大小,後續還可以動態調整。TCP 緩衝區大的服務器可能會聲明一個大窗口,以便最大限度提高吞吐量。TCP 緩衝區小的服務器可能會被迫聲明一個小窗口,這樣做會犧牲一定的吞吐量,但為了防止接收方的 TCP 緩衝區溢出,還是很有必要的。

    換個角度來看,TCP 滑動窗口大小是對網絡中可能存在的未確認數據量的硬性限制。我們可以用它來計算髮送方在某一特定時間內可能發送的最大序列號(max_seq_no):

    max_seq_no = max_acked_seq_no + window_size
    

    其中 max_acked_seq_no 是接收方發送的最大 ACK 號,它表示發送方知道接收方已經成功接收的最大序列號。window_size 是窗口大小,它表示允許發送方最多發送的未被確認的字節。所以發送方可以發送的最大序列號是:max_acked_seq_no + window_size

    TCP 規範規定,接收方應該忽略任何序列號在接收窗口之外的數據。例如,如果接收方確認了所有序列號在 15,000 以下的字節,且接收窗口大小為 30,000,那麼接下來接收方只能接收序列號範圍在 15,000 ~ 45,000 之間的數據。如果一個報文段的部分數據在窗口內,另一部分數據在窗口外,那麼窗口內的數據將被接收確認,窗口外的數據將被丟棄。注意:這裏忽略了選擇確認選項,再強調一遍!

    對於大多數 TCP 報文段來說,滑動窗口的規則告訴了發送方自己可以接收的序列號範圍。但對於重置報文來說,序列號的限制更加嚴格,這是為了抵禦一種攻擊叫做盲目 TCP 重置攻擊(blind TCP reset attack),下文將會解釋。

    TCP 重置報文段的序列號

    對於 TCP 重置報文段來說,接收方對序列號的要求更加嚴格,只有當其序列號正好等於下一個預期的序列號時才能接收。繼續搬出上面的例子,接收方發送了一個確認應答,ACK 號為 15,000。如果接下來收到了一個重置報文,那麼其序列號必須是 15,000 才能被接收。

    如果重置報文的序列號超出了接收窗口範圍,接收方就會直接忽略該報文;如果其序列號在接收窗口範圍內,那麼接收方就會返回一個 challenge ACK,告訴發送方重置報文段的序列號是錯誤的,並告之正確的序列號,發送方可以利用 challenge ACK 中的信息來重新構建和發送重置報文。

    其實在 2010 年之前,TCP 重置報文段和其他報文段的序列號限制規則一樣,但無法抵禦盲目 TCP 重置攻擊,後來才採取這些措施施加額外的限制。

    盲目 TCP 重置攻擊

    如果攻擊者能夠截獲通信雙方正在交換的信息,攻擊者就能讀取其數據包上的序列號和確認應答號,並利用這些信息得出偽裝的 TCP 重置報文段的序列號。相反,如果無法截獲通信雙方的信息,就無法確定重置報文段的序列號,但仍然可以批量發出盡可能多不同序列號的重置報文,以期望猜對其中一個序列號。這就是所謂的盲目 TCP 重置攻擊(blind TCP reset attack)。

    在 2010 年之前 TCP 的原始版本中,攻擊者只需要猜對接收窗口內的隨便哪一個序列號即可,一般只需發送幾萬個報文段就能成功。採取額外限制的措施后,攻擊者需要發送數以百萬計的報文段才有可能猜對序列號,這幾乎是很難成功的。更多細節請參考 RFC-5963。

    4. 模擬攻擊

    以下實驗是在 OSX 系統中完成的,其他系統請自行測試。

    現在來總結一下偽造一個 TCP 重置報文要做哪些事情:

    • 嗅探通信雙方的交換信息。
    • 截獲一個 ACK 標誌位置位 1 的報文段,並讀取其 ACK 號。
    • 偽造一個 TCP 重置報文段(RST 標誌位置為 1),其序列號等於上面截獲的報文的 ACK 號。這隻是理想情況下的方案,假設信息交換的速度不是很快。大多數情況下為了增加成功率,可以連續發送序列號不同的重置報文。
    • 將偽造的重置報文發送給通信的一方或雙方,時其中斷連接。

    為了實驗簡單,我們可以使用本地計算機通過 localhost 與自己通信,然後對自己進行 TCP 重置攻擊。需要以下幾個步驟:

    1. 在兩個終端之間建立一個 TCP 連接。
    2. 編寫一個能嗅探通信雙方數據的攻擊程序。
    3. 修改攻擊程序,偽造併發送重置報文。

    下面正式開始實驗。

    建立 TCP 連接

    可以使用 netcat 工具來建立 TCP 連接,這個工很多操作系統都預裝了。打開第一個終端窗口,運行以下命令:

    $ nc -nvl 8000
    

    這個命令會啟動一個 TCP 服務,監聽端口為 8000。接着再打開第二個終端窗口,運行以下命令:

    $ nc 127.0.0.1 8000
    

    該命令會嘗試與上面的服務建立連接,在其中一個窗口輸入一些字符,就會通過 TCP 連接發送給另一個窗口並打印出來。

    嗅探流量

    編寫一個攻擊程序,使用 Python 網絡庫 scapy 來讀取兩個終端窗口之間交換的數據,並將其打印到終端上。完整的代碼參考我的 GitHub 倉庫,代碼的核心是調用 scapy 的嗅探方法:

    t = sniff(
            iface='lo0',
            lfilter=is_packet_tcp_client_to_server(localhost_ip, localhost_server_port, localhost_ip),
            prn=log_packet,
            count=50)
    

    這段代碼告訴 scapylo0 網絡接口上嗅探數據包,並記錄所有 TCP 連接的詳細信息。

    • iface : 告訴 scapy 在 lo0(localhost)網絡接口上進行監聽。
    • lfilter : 這是個過濾器,告訴 scapy 忽略所有不屬於指定的 TCP 連接(通信雙方皆為 localhost,且端口號為 8000)的數據包。
    • prn : scapy 通過這個函數來操作所有符合 lfilter 規則的數據包。上面的例子只是將數據包打印到終端,下文將會修改函數來偽造重置報文。
    • count : scapy 函數返回之前需要嗅探的數據包數量。

    發送偽造的重置報文

    下面開始修改程序,發送偽造的 TCP 重置報文來進行 TCP 重置攻擊。根據上面的解讀,只需要修改 prn 函數就行了,讓其檢查數據包,提取必要參數,並利用這些參數來偽造 TCP 重置報文併發送。

    例如,假設該程序截獲了一個從(src_ip, src_port)發往 (dst_ip, dst_port)的報文段,該報文段的 ACK 標誌位已置為 1,ACK 號為 100,000。攻擊程序接下來要做的是:

    • 由於偽造的數據包是對截獲的數據包的響應,所以偽造數據包的源 IP/Port 應該是截獲數據包的目的 IP/Port,反之亦然。
    • 將偽造數據包的 RST 標誌位置為 1,以表示這是一個重置報文。
    • 將偽造數據包的序列號設置為截獲數據包的 ACK 號,因為這是發送方期望收到的下一個序列號。
    • 調用 scapysend 方法,將偽造的數據包發送給截獲數據包的發送方。

    對於我的程序而言,只需將這一行取消註釋,並註釋這一行的上面一行,就可以全面攻擊了。按照步驟 1 的方法設置 TCP 連接,打開第三個窗口運行攻擊程序,然後在 TCP 連接的其中一個終端輸入一些字符串,你會發現 TCP 連接被中斷了!

    進一步實驗

    1. 可以繼續使用攻擊程序進行實驗,將偽造數據包的序列號加減 1 看看會發生什麼,是不是確實需要和截獲數據包的 ACK 號完全相同。
    2. 打開 Wireshark,監聽 lo0 網絡接口,並使用過濾器 ip.src == 127.0.0.1 && ip.dst == 127.0.0.1 && tcp.port == 8000 來過濾無關數據。你可以看到 TCP 連接的所有細節。
    3. 在連接上更快速地發送數據流,使攻擊更難執行。

    總的來說,TCP 重置攻擊既深奧又簡單,祝你實驗順利。

    Kubernetes 1.18.2 1.17.5 1.16.9 1.15.12離線安裝包發布地址http://store.lameleg.com ,歡迎體驗。 使用了最新的sealos v3.3.6版本。 作了主機名解析配置優化,lvscare 掛載/lib/module解決開機啟動ipvs加載問題, 修復lvscare社區netlink與3.10內核不兼容問題,sealos生成百年證書等特性。更多特性 https://github.com/fanux/sealos 。歡迎掃描下方的二維碼加入釘釘群 ,釘釘群已經集成sealos的機器人實時可以看到sealos的動態。

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※Google地圖已可更新顯示潭子電動車充電站設置地點!!

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※別再煩惱如何寫文案,掌握八大原則!

    網頁設計最專業,超強功能平台可客製化

  • 一起玩轉微服務(3)——微服務架構設計模式

    一起玩轉微服務(3)——微服務架構設計模式

    一、聚合器微服務設計模式

    這是一種最常見也最簡單的設計模式,效果如下圖所示。
    聚合器調用多個服務實現應用程序所需的功能。它可以是一個簡單的Web頁面,將檢索到的數據進行處理展示。它也可以是一個更高層次的組合微服務,對檢索到的數據增加業務邏輯後進一步發布成一個新的微服務,這符合DRY原則。另外,每個服務都有自己的緩存和數據庫。如果聚合器是一個組合服務,那麼它也有自己的緩存和數據庫。

    二、代理微服務設計模式

    這是聚合模式的一個變種,如下圖所示。
    在這種情況下,客戶端並不聚合數據,但會根據業務需求的差別調用不同的微服務。代理可以僅僅委派請求,也可以進行數據轉換工作。每個微服務都有自己獨立的緩存和數據庫系統,彼此獨立。

    三、鏈式微服務設計模式

    這種模式在接收到請求後會產生一個經過合併的響應,如下圖所示:
    在這種情況下,服務A接收到請求後會與服務B進行通信,類似地,服務B會同服務C進行通信。所有服務都使用同步消息傳遞。在整個鏈式調用完成之前,客戶端會一直阻塞。
    因此,服務調用鏈不宜過長,以免客戶端長時間等待。

    四、分支微服務設計模式

    這種模式是聚合器模式的擴展,允許同時調用兩個微服務鏈,如下圖所示:
    每個調用鏈分別調用自己的服務。當某個調用出現問題時,互相之間不會造成影響。

    五、數據共享微服務設計模式

    自治是微服務的設計原則之一,就是說微服務是全棧式服務。但在重構現有的“單體應用(monolithic application)”時,SQL數據庫反規範化可能會導致數據重複和不一致。
    因此,在單體應用到微服務架構的過渡階段,可以使用這種設計模式,如下圖所示:
    在這種情況下,部分微服務可能會共享緩存和數據庫存儲。不過,這隻有在兩個服務之間存在強耦合關係時才可以。對於基於微服務的新建應用程序而言,這是一種反模式。
     

    六、異步消息傳遞微服務設計模式

    雖然REST設計模式非常流行,但它是同步的,會造成阻塞。因此部分基於微服務的架構可能會選擇使用消息隊列代替REST請求/響應,如下圖所示:
    各個服務之間通過異步的消息隊列進行交互,當服務出現問題時,不會造成阻塞,隊列會幫助緩存消息,直到消費服務開始工作。

     

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    南投搬家公司費用需注意的眉眉角角,別等搬了再說!

    ※教你寫出一流的銷售文案?

  • 大數據篇:一文讀懂@數據倉庫

    大數據篇:一文讀懂@數據倉庫

    大數據篇:一文讀懂@數據倉庫

    1 網絡詞彙總結

    • 人工智能層的:智慧地球、智慧城市、智慧社會
    • 企業層面的:数字互聯網,数字經濟、数字平台、数字城市、数字政府;
    • 平台層面的:物聯網,雲計算,大數據,5G,人工智能,機器智能,深度學習,知識圖譜
    • 技術層面的:數據倉庫、數據集市、大數據平台、數據湖、數據中台、業務中台、技術中台等等

    挑重點簡介

    1.1 數據中台

    1. 數據中台是聚合和治理跨域數據,將數據抽象封裝成服務,提供給前台以業務價值的邏輯概念。

    2. 數據中台是一套可持續“讓企業的數據用起來”的機制,一種戰略選擇和組織形式,是依據企業特有的業務模式和組織架構,通過有形的產品和實施方法論支撐,構建一套持續不斷把數據變成資產並服務於業務的機制。

    3. 數據中台連接數據前台和後台,突破數據局限,為企業提供更靈活、高效、低成本的數據分析挖掘服務,避免企業為滿足具體某部門某種數據分析需求而投放大量高成本、重複性的數據開發成本。

    4. 數據中台是指通過數據技術,對海量數據進行採集、計算、存儲、加工,同時統一標準和口徑。數據中台把數據統一之後,會形成標準數據,再進行存儲,形成大數據資產層,進而為客戶提供高效服務。

    5. 數據中台,包括平台、工具、數據、組織、流程、規範等一切與企業數據資產如何用起來所相關的。

    可以看出,數據中台是解決如何用好數據的問題,目前還缺乏一個標準,而說到數據中台一定會提及大數據,而大數據又是由數據倉庫發展起來的。

    1.1.1 數據倉庫(Data WareHouse)

    1. 數據倉庫,按照傳統的定義,數據倉庫是一個面向主題的、集成的、非易失的、反映歷史變化(隨時間變化),用來支持管理人員決策的數據集合。

    為企業所有決策制定過程,提供所有系統數據支持的戰略集合

    • 面向主題

    操作型數據庫的數據組織面向事務處理任務,各個業務系統之間各自分離,而數據倉庫中的數據是按照一定的主題域進行組織。

    主題是一個抽象的概念,是數據歸類的標準,是指用戶使用數據倉庫進行決策時所關心的重點方面,一個主題通常與多個操作型信息系統相關。每一個主題基本對應一個宏觀的分析領域。

    例如,銀行的數據倉庫的主題:客戶

    客戶數據來源:從銀行儲蓄數據庫、信用卡數據庫、貸款數據庫等幾個數據庫中抽取的數據整理而成。這些客戶信息有可能是一致的,也可能是不一致的,這些信息需要統一整合才能完整體現客戶。

    • 集成

    面向事務處理的操作型數據庫通常與某些特定的應用相關,數據庫之間相互獨立,並且往往是異構的。而數據倉庫中的數據是在對原有分散的數據庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的,必須消除源數據中的不一致性,以保證數據倉庫內的信息是關於整個企業的一致的全局信息。

    具體如下:

    1:數據進入數據倉庫后、使用之前,必須經過加工與集成。

    2:對不同的數據來源進行統一數據結構和編碼。統一原始數 據中的所有矛盾之處,如字段的同名異義,異名同義,單位不統一,字長不一致等。

    3:將原始數據結構做一個從面嚮應用到面向主題的大轉變。

    • 非易失即相對穩定的

    操作型數據庫中的數據通常實時更新,數據根據需要及時發生變化。數據倉庫的數據主要供企業決策分析之用,所涉及的數據操作主要是數據查詢,一旦某個數據進入數據倉庫以後,一般情況下將被長期保留,也就是數據倉庫中一般有大量的查詢操作,但修改和刪除操作很少,通常只需要定期的加載、刷新。

    數據倉庫中包括了大量的歷史數據。

    數據經集成進入數據倉庫后是極少或根本不更新的。

    • 隨時間變化即反映歷史變化

    操作型數據庫主要關心當前某一個時間段內的數據,而數據倉庫中的數據通常包含歷史信息,系統記錄了企業從過去某一時點(如開始應用數據倉庫的時點)到目前的各個階段的信息,通過這些信息,可以對企業的發展歷程和未來趨勢做出定量分析和預測。企業數據倉庫的建設,是以現有企業業務系統和大量業務數據的積累為基礎。數據倉庫不是靜態的概念,只有把信息及時交給需要這些信息的使用者,供他們做出改善其業務經營的決策,信息才能發揮作用,信息才有意義。而把信息加以整理歸納和重組,並及時提供給相應的管理決策人員,是數據倉庫的根本任務。因此,從產業界的角度看,數據倉庫建設是一個工程,是一個過程

    數據倉庫內的數據時限一般在5-10年以上,甚至永不刪除,這些數據的鍵碼都包含時間項,標明數據的歷史時期,方便做時間趨勢分析。

    1. 數據倉庫,並不是數據最終目的地,而是為數據最終的目的地做好準備:清洗、轉義、分類、重組、合併、拆分、統計等等

    通過對數據倉庫中數據的分析,可以幫助企業,改進業務流程、控制、成本、提高產品質量等

    1. 主要解決問題:數據報表,數據沉澱,數據計算Join過多,數據查詢過慢等問題。

    防止煙囪式開發,減少重複開發,開發通用中間層數據,減少重複計算;

    將複雜問題簡單化,將複雜任務的多個步驟分解到各個層次中,每一層只處理較少的步驟,使單個任務更容易理解;

    可進行數據血緣追蹤,便於快速定位問題;

    整個數據層次清晰,每個層次的數據都有職責定位,便於使用和理解。

    1. 主要價值體現:企業數據模型,這些模型隨着前端業務系統的發展變化,不斷變革,不斷追加,不斷豐富和完善,即使系統不再了,也可以在短期內快速重建起來,這也是大數據產品能夠快速迭代起來的一個重要原因

    總結:數據倉庫,即為企業數據的模型沉澱,為了能更快的發展大數據應用,提供可靠的模型來快速迭代。本文也主要為了講解數據倉庫

    • 數倉硬件架構圖
    • 數倉功能架構圖
    • 數倉流程架構圖1
    • 數倉流程架構圖2
    • 實時數倉流程架構圖

    1.1.2 大數據平台(DATA Platform)

    1. 大數據平台則是指以處理海量數據存儲、計算及流數據實時計算等場景為主的一套基礎設施,包括了統一的數據採集中心、數據計算和存儲中心、數據治理中心、運維管控中心、開放共享中心和應用中心。

    2. 大數據平台的建設出發點是節約投資降低成本,但實際上無論從硬件投資還是從軟件開發上都遠遠超過數據倉庫的建設,大量的硬件和各種開源技術的組合,增加了研發的難度、調測部署的周期、運維的複雜度,人力上的投入已是最初的幾倍;還有很多技術上的困難也非一朝一夕能夠突破。

    3. 首先是數據的應用問題,無論是數據倉庫還是大數據平台,裡面包含了接口層數據、存儲層數據、輕度匯總層、重度匯總層、模型層數據、報表層數據等等,各種各樣的表有成千上萬,這些表有的是中間處理過程,有些是一次性的報表,不同表之間的數據一致性和口徑也會不同,而且不同的表不同的字段對數據安全要求級別也不同。

    4. 此外還要考慮多租戶的資源安全管理,如何讓內部開發者快速獲取所需的數據資產目錄,如何閱讀相關數據的來龍去脈,如何快速的實現開發,這些在大數據平台建設初期沒有考慮周全。

    5. 另外一個問題是對外應用,隨着大數據平台的應用建設,每一個對外應用都採用單一的數據庫加單一應用建設模式,獨立考慮網絡安全、數據安全、共享安全,逐漸又走向了煙囪似的開發道路。

    總結:大數據平台,即為數據一站式服務,提供可視化的數據展示,提取,計算任務安排,資源管理,數據治理,安全措施,共享應用等等。

    • 平台數據流向圖
    • 平台流程架構圖

    1.1.3 數據中台(Data Middle Platform)

    1. 數據中台要解決什麼?數據如何安全的、快速的、最小權限的、且能夠溯源的被探測和快速應用的問題。

    2. 數據中台不應該被過度的承載平台的計算、存儲、加工任務,而是應該放在解決企業邏輯模型的搭建和存儲、數據標準的建立、數據目錄的梳理、數據安全的界定、數據資產的開放,知識圖譜的構建。

    3. 通過一系列工具、組織、流程、規範,實現數據前台和後台的連接,突破數據局限,為企業提供更靈活、高效、低成本的數據分析挖掘服務,避免企業為滿足具體某部門某種數據分析需求而投放大量高成本、重複性的數據開發成本。

    總結:厚平台,大中台,小前台;沒有基礎厚實笨重的大數據平台,是不可能構建數據能力強大、功能強大的數據中台的;沒有大數據中台,要迅速搭建小快靈的小前台也只是理想化的。

    • 中台架構圖
    • 阿里數據中台架構圖

    2 數據庫的”分家”

    隨着關係數據庫理論的提出,誕生了一系列經典的RDBMS,如Oracle,MySQL,SQL Server等。這些RDBMS被成功推向市場,併為社會信息化的發展做出的重大貢獻。然而隨着數據庫使用範圍的不斷擴大,它被逐步劃分為兩大基本類型:

    1. 操作型數據庫(OLTP)

    主要用於業務支撐。一個公司往往會使用並維護若干個數據庫,這些數據庫保存着公司的日常操作數據,比如商品購買、酒店預訂、打車下單、外賣訂購等;

    1. 分析型數據庫(OLAP)

    主要用於歷史數據分析。這類數據庫作為公司的單獨數據存儲,負責利用歷史數據對公司各主題域進行統計分析;

    • 總結

    那麼為什麼要”分家”?在一起不合適嗎?能不能構建一個同樣適用於操作和分析的統一數據庫?

    答案是NO。一個顯然的原因是它們會”打架”……如果操作型任務和分析型任務搶資源怎麼辦呢?再者,它們有太多不同,以致於早已”貌合神離”。接下來看看它們到底有哪些不同吧。

    因為主導功能的不同(面向操作/面向分析),兩類數據庫就產生了很多細節上的差異。就好像玩LOL一个中單一個ADC,肯定有很多行為/觀念上的不同

    2.1 OLAP 和 OLTP簡介

    數據處理大致可以分成兩大類:

    聯機事務處理OLTP(on-line transaction processing):是傳統的關係型數據庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。系統強調數據庫內存效率,強調內存各種指標的命令率,強調綁定變量,強調併發操作。

    聯機分析處理OLAP(On-Line Analytical Processing):是數據倉庫系統的主要應用,支持複雜的分析操作,側重決策支持,並且提供直觀易懂的查詢結果。 系統則強調數據分析,強調SQL執行市場,強調磁盤I/O,強調分區等。

    2.2 定義差別

    對比內容 操作型數據庫(OLTP) 分析型數據庫(OLAP)
    數據內容 當前值 歷史的、存檔的、歸納的、計算的數據
    數據目標 面向業務操作程序,重複處理 面向主題域,分析應用,支持決策
    數據特性 動態變化,按字段更新 靜態、不能直接更新,只能定時添加、刷新
    數據結構 高度結構化、複雜,適合操作計算 簡單,適合分析
    使用頻率 中到低
    數據訪問量 每個事務只訪問少量記錄 有的事務可能需要訪問大量記錄
    對響應時間的要求 以秒為單位計算 以秒、分鐘、甚至小時為計算單位

    2.3 定位差別

    對比屬性 OLTP OLAP
    代表 Mysql Hive
    讀特性 每次查詢只返回少量數據 對大量數據進行匯總
    寫特性 隨機、低延遲寫入用戶的操作 批量導入
    用戶 操作人員 決策人員
    DB設計 面嚮應用 面向主題
    數據 當前的,最新的細節,二維表 歷史的,聚集的,多維表
    工作單位 事務性保證 複雜查詢
    用戶數 上千個 上百萬個
    DB大小 100MB-GB 100GB-TB以上
    時間要求 具有實時性 對時間的要求不嚴格
    主要應用 數據庫:WEB項目 數據倉庫:分析師,挖掘師

    2.4 組成差別

    對比內容 操作型數據庫(OLTP) 分析型數據庫(OLAP)
    數據時間範圍差別 只會存放一定天數的數據 存放的則是數年內的數據
    數據細節層次差別 存放的主要是細節數據 也有匯總需求,但匯總數據本身不存儲而只存儲其生成公式。
    這是因為操作型數據是動態變化的,因此匯總數據會在每次查詢時動態生成。
    存放的既有細節數據,又有匯總數據,對於用戶來說,重點關注的是匯總數據部分。
    因為匯總數據比較穩定不會發生改變,而且其計算量也比較大(因為時間跨度大),因此它的匯總數據可考慮事先計算好,以避免重複計算。
    數據時間表示差別 通常反映的是現實世界的當前狀態 既有當前狀態,還有過去各時刻的快照。
    可以綜合所有快照對各個歷史階段進行統計分析

    2.5 技術差別

    對比內容 操作型數據庫(OLTP) 分析型數據庫(OLAP)
    數據更新差別 允許用戶進行增,刪,改,查 規範是只能進行查詢
    數據冗餘差別 減少數據冗餘,避免更新異常 沒有更新操作。因此,減少數據冗餘也就沒那麼重要了

    2.6 功能差別

    對比內容 操作型數據庫(OLTP) 分析型數據庫(OLAP)
    數據讀者差別 使用者是業務環境內的各個角色,如用戶,商家,進貨商等 只被少量用戶(高級管理者)用來做綜合性決策
    數據定位差別 是為了支撐具體業務創建的,因此也被稱為”面嚮應用型數據庫” 是針對各特定業務主題域的分析任務創建的,因此也被稱為”面向主題型數據庫”

    2.7 OLTP數據庫三範式介紹

    • 定義:範式可以理解為設計一張數據表的表結構,符合的標準級別。 規範和要求
    • 優點:關係型數據庫設計時,遵照一定的規範要求,目的在於降低數據的冗餘性。
      • 十幾年前,磁盤很貴,為了減少磁盤存儲。
      • 以前沒有分佈式系統,都是單機,只能增加磁盤,磁盤個數也是有限的
      • 一次修改,需要修改多個表,很難保證數據一致性
    • 缺點:範式的缺點是獲取數據時,需要通過 Join 拼接出最後的數據。

    目前業界範式有:第一範式(1NF)、第二範式(2NF)、第三範式(3NF)、巴斯-科德範式 (BCNF)、第四範式(4NF)、第五範式(5NF)。

    2.7.1 函數依賴

    學號 姓名 系名 班主任 課名 分數
    001 張三 古文系 李白 文言文 89
    001 張三 古文系 李白 古詩詞 78
    001 張三 古文系 李白 現代漢語 65
    002 李四 古文系 李白 文言文 45
    002 李四 古文系 李白 古詩詞 78
    002 李四 古文系 李白 甲骨文 98
    003 王五 數學系 牛頓 高等數學 88
    003 王五 數學系 牛頓 數學基礎 88
    1. 完全函數依賴:

    通過 AB 能推出 C,但是 AB 單獨得不到 C,那麼可以說:C 完全依賴於 AB

    (學號,課名)推出 分數,但是 單獨用學號 推不出 分數,那麼可以說:分數 完全依賴於(學號,課名)

    1. 部分函數依賴:

    通過 AB 能推出 C,通過 單獨的A 或者 單獨的B 也能推出 C,那麼可以說:C 部分依賴於 AB

    (學號,課名)推出 姓名,而還可以通過 學號 直接推出 姓名,那麼可以說:姓名 部分依賴於(學號,課名)

    1. 傳遞函數依賴:

    通過 A 得到 B,通過 B 得到 C,但是通過 C 不能得到 A,那麼可以說:C 傳遞依賴於 A

    通過 學號 推出 系名,系名 推出 系主任,但是 系主任 不能推出 學號,那麼可以說:系主任 專遞依賴於 學號

    2.7.2 三範式區分

    2.7.2.1 第一範式:屬性不可切割
    • 不符合第一範式表設計
    ID 商品 商家ID 用戶ID
    001 5台電腦 小米_001 00001

    如上表格不符合第一範式,商品列中的數據不是原子數據項,是可以進行分割的。

    • 符合第一範式表設計
    ID 商品 數量 商家ID 用戶ID
    001 電腦 5 小米_001 00001

    1NF是所有關係數據庫的最基本要求

    2.7.2.2 第二範式:不能存在”部分函數依賴”
    • 不符合第二範式表設計
    學號 姓名 系名 班主任 課名 分數
    001 張三 古文系 李白 文言文 89
    001 張三 古文系 李白 古詩詞 78
    001 張三 古文系 李白 現代漢語 65
    002 李四 古文系 李白 文言文 45
    002 李四 古文系 李白 古詩詞 78
    002 李四 古文系 李白 甲骨文 98
    003 王五 數學系 牛頓 高等數學 88
    003 王五 數學系 牛頓 數學基礎 88

    如上表格不符合第二範式,比如:這張表主鍵(學號,課名),分數完全依賴於(學號和課名),但是姓名並不完全依賴於(學號和課名)

    • 符合第二範式表設計
    學號 課名 分數
    001 文言文 89
    001 古詩詞 78
    001 現代漢語 65
    002 文言文 45
    002 古詩詞 78
    002 甲骨文 98
    003 高等數學 88
    003 數學基礎 88
    學號 姓名 系名 班主任
    001 張三 古文系 李白
    002 李四 古文系 李白
    003 王五 數學系 牛頓
    2.7.2.3 第三範式:不能存在”傳遞函數依賴”
    • 不符合第三範式表設計
    學號 姓名 系名 班主任
    001 張三 古文系 李白
    002 李四 古文系 李白
    003 王五 數學系 牛頓

    如上表格不符合第三範式,比如:學號–>系名–>系主任,但是系主任推不出學號

    • 符合第三範式表設計
    學號 姓名 系名
    001 張三 古文系
    002 李四 古文系
    003 王五 數學系
    系名 班主任
    古文系 李白
    古文系 李白
    數學系 牛頓

    2.8 OLAP典型架構

    OLAP有多種實現方法,根據存儲數據的方式不同可以分為ROLAP、MOLAP、HOLAP

    名稱 描述 細節數據存儲位置 聚合后的數據存儲位置
    ROLAP(Relational OLAP) 基於關係數據庫的OLAP實現 關係型數據庫 關係型數據庫
    MOLAP(Multidimensional OLAP) 基於多維數據組織的OLAP實現 數據立方體 數據立方體
    HOLAP(Hybrid OLAP) 基於混合數據組織的OLAP實現 關係型數據庫 數據立方體
    1. ROLAP(Relational Online Analytical Processing)

    ROLAP架構並不會生成實際的多維數據集,而是使用雪花模式以及多個關係表對數據立方體進行模擬,它的OLAP引擎就是將用戶的OLAP操作,如上鑽下鑽過濾合併等,轉換成SQL語句提交到數據庫中執行,並且提供聚集導航功能,根據用戶操作的維度和度量將SQL查詢定位到最粗粒度的事實表上去

    這種架構下的查詢沒有MOLAP快速。因為ROLAP中,所有的查詢都是被轉換為SQL語句執行的。而這些SQL語句的執行會涉及到多個表之間的JOIN操作,沒有MOLAP速度快,往往都是通過內存計算實現。(內存的昂貴大家是知道的)

    1. MOLAP(Multidimensional Online Analytical Processing)

    MOLAP架構會生成一個新的多維數據集,也可以說是構建了一個實際數據立方體。事先將匯總數據計算好,存放在自己特定的多維數據庫中,用戶的OLAP操作可以直接映射到多維數據庫的訪問,不通過SQL訪問。(空間換時間,典型代表Kylin)

    在該立方體中,每一格對應一個直接地址,且常用的查詢已被預先計算好。因此每次的查詢都是非常快速的,但是由於立方體的更新比較慢,所以是否使用這種架構得具體問題具體分析。

    1. HOLAP(Hybrid Online Analytical Processing)

    這種架構綜合參考MOLAP和ROLAP而採用一種混合解決方案,將某些需要特別提速的查詢放到MOLAP引擎,其他查詢則調用ROLAP引擎。上述MOLAP和ROLAP的結合。它提供了更大的靈活度,MOLAP提供提供了更加快速的響應速度。但是帶來的問題是,數據裝載的效率非常低,因為其實就是將多維的數據預先填好,但是隨着數據量過大維度成本越高,容易引起“數據爆炸”。

    2.9 OLAP數據立方體(Data Cube)

    OLAP(online analytical processing)是一種軟件技術,它使分析人員能夠迅速、一致、交互地從各個方面觀察信息,以達到深入理解數據的目的。從各方面觀察信息,也就是從不同的維度分析數據,因此OLAP也稱為多維分析

    很多年前,當我們要手工從一堆數據中提取信息時,我們會分析一堆數據報告。通常這些數據報告採用二維表示,是行與列組成的二維表格。但在真實世界里我們分析數據的角度很可能有多個,數據立方體可以理解為就是維度擴展后的二維表格。下圖展示了一個三維數據立方體:

    更多時候數據立方體是N維的。它的實現有兩種方式。其中星形模式就是其中一種,該模式其實是一種連接關係表與數據立方體的橋樑。但對於大多數純OLAP使用者來講,數據分析的對象就是這個邏輯概念上的數據立方體,其具體實現不用深究。對於這些OLAP工具的使用者來講,基本用法是首先配置好維表、事實表,然後在每次查詢的時候告訴OLAP需要展示的維度和事實字段和操作類型即可。

    最常見的五大操作:切片,切塊,旋轉,上卷,下鑽。

    2.9.1 切片和切塊(Slice and Dice)

    在數據立方體的某一維度上選定一個維成員的操作叫切片,而對兩個或多個維執行選擇則叫做切塊。下圖邏輯上展示了切片和切塊操作:

    2.9.2 旋轉(Pivot)

    旋轉就是指改變報表或頁面的展示方向。對於使用者來說,就是個視圖操作,而從SQL模擬語句的角度來說,就是改變SELECT後面字段的順序而已。下圖邏輯上展示了旋轉操作:

    2.9.3 上卷和下鑽(Rol-up and Drill-down)

    上卷可以理解為”無視”某些維度;下鑽則是指將某些維度進行細分。下圖邏輯上展示了上卷和下鑽操作:

    2.9.4 Cube 和 Cuboid

    Cube(或 Data Cube),即數據立方體,是一種常用於數據分析與索引的技術;它可以對原始數據建立多維度索引。通過 Cube 對數據進行分析,可以大大加快數據的查詢效率。

    Cuboid 特指在某一種維度組合下所計算的數據。 給定一個數據模型,我們可以對其上的所有維度進行組合。對於 N 個維度來說,組合的所有可能性共有 2 的 N 次方種。對於每一種維度的組合,將度量做 聚合運算,然後將運算的結果保存為一個物化視圖,稱為 Cuboid。

    所有維度組合的 Cuboid 作為一個整體,被稱為 Cube。所以簡單來說,一個 Cube 就是許多按維度聚合的物化視圖的集合。

    下面來列舉一個具體的例子:

    假定有一個電商的銷售數據集,其中維度包括 時間(Time)、商品(Item)、地點(Location)和供應商(Supplier),度量為銷售額(GMV)。

    • 那麼所有維度的組合就有 2 的 4 次方 =16 種
      • 一維度(1D) 的組合有[Time]、[Item]、[Location]、[Supplier]4 種
      • 二維度(2D)的組合 有[Time,Item]、[Time,Location]、[Time、Supplier]、[Item,Location]、 [Item,Supplier]、[Location,Supplier]6 種
      • 三維度(3D)的組合也有 4 種
      • 零維度(0D)的組合有 1 種
      • 四維度(4D)的組合有 1 種

    3 數據倉庫的演進

    4 數據倉庫主要用途

    大家應該已經意識到這個問題:既然分析型數據庫中的操作都是查詢,因此也就不需要嚴格滿足完整性/參照性約束以及範式設計要求,而這些卻正是分析型數據庫精華所在。這樣的情況下再將它歸為數據庫會很容易引起大家混淆,畢竟在絕大多數人心裏數據庫是可以關係型數據庫畫上等號的。

    • 那麼為什麼不幹脆叫”面向分析的存儲系統”呢?

    這就是關於數據倉庫最貼切的定義了。事實上數據倉庫不應讓傳統關係數據庫來實現,因為關係數據庫最少也要求滿足第1範式,而數據倉庫里的關係表可以不滿足第1範式。也就是說,同樣的記錄在一個關係表裡可以出現N次。但由於大多數數據倉庫內的表的統計分析還是用SQL,因此很多人把它和關係數據庫搞混了。

    4.1 支持數據提取

    數據提取可以支撐來自企業各業務部門的數據需求。

    由之前的不同業務部門給不同業務系統提需求轉變為不同業務系統統一給數據倉庫提需求,避免煙囪式開發

    4.2 支持報表系統

    基於企業的數據倉庫,向上支撐企業的各部門的統計報表需求,輔助支撐企業日常運營決策。

    4.3 支持數據分析

    從許多來自不同的企業業務系統的數據中提取出有用的數據並進行清理,以保證數據的正確性,然後經過抽取、轉換和裝載,即ETL過程,合併到一個企業級的數據倉庫里,從而得到企業數據的一個全局視圖;

    在此基礎上利用合適的查詢和分析工具、數據挖掘工具、OLAP工具等對其進行分析和處理(這時信息變為輔助決策的知識);

    最後將知識呈現給管理者,為管理者的決策過程提供支持 。

    4.4 支持數據挖掘

    數據挖掘也稱為數據庫知識發現(Knowledge Discovery in Databases, KDD),就是將高級智能計算技術應用於大量數據中,讓計算機在有人或無人指導的情況下從海量數據中發現潛在的,有用的模式(也叫知識)。

    Jiawei Han在《數據挖掘概念與技術》一書中對數據挖掘的定義:數據挖掘是從大量數據中挖掘有趣模式和知識的過程,數據源包括數據庫、數據倉庫、Web、其他信息存儲庫或動態地流入系統的數據。

    4.5 支持數據應用

    物聯網基於位置數據的旅遊客流分析及人群畫像

    通信基於位置數據的人流監控和預警

    銀行基於用戶交易數據的金融畫像應用

    電商根據用戶瀏覽和購買行為的用戶標籤體系及推薦系統

    徵信機構根據用戶信用記錄的信用評估

    出行基於位置數據的車流量分析,調度預測

    5 數據集市

    數據集市可以理解為是一種”小型數據倉庫”,它只包含單個主題,且關注範圍也非全局。

    數據集市可以分為兩種,一種是獨立數據集市(independent data mart),這類數據集市有自己的源數據庫和ETL架構;另一種是非獨立數據集市(dependent data mart),這種數據集市沒有自己的源系統,它的數據來自數據倉庫。當用戶或者應用程序不需要/不必要/不允許用到整個數據倉庫的數據時,非獨立數據集市就可以簡單為用戶提供一個數據倉庫的”子集”。

    • 簡單理解:
      • 數據集市:部門級別的數據倉庫,能為某個局部範圍內的管理人員提供服務。
      • 數據倉庫:企業級別的數據倉庫,能為企業各個部門的運行提供決策支持。

    6 建模的基本概念

    6.1 關係建模

    上圖為web應用中的一個建模片段,遵循三範式建模,可以看出,較為鬆散、零碎, 物理表數量多,而數據冗餘程度低。由於數據分佈於眾多的表中,這些數據可以更為靈活地 被應用,功能性較強。關係模型主要應用與 OLTP 系統中,為了保證數據的一致性以及避免 冗餘,所以大部分業務系統的表都是遵循第三範式的。

    6.2 維度建模

    維度建模(dimensional modeling)是專門用於分析型數據庫、數據倉庫、數據集市建模的方法

    上圖為維度模型建模片段,主要應用於 OLAP 系統中,通常以某一個事實表為中心進行表的 組織,主要面向業務,特徵是可能存在數據的冗餘,但是能方便的得到數據。

    關係模型雖然冗餘少,但是在大規模數據,跨表分析統計查詢過程中,會造成多表關聯,這會大大降低執行效率。所以通常我們採用維度模型建模,把相關各種表整理成兩種: 事實表和維度表兩種

    6.3 維度建模的三種模式

    1. 星形模式

    星形模式(Star Schema)是最常用的維度建模方式

    可以看出,星形模式的維度建模由一個事實表和一組維表成,且具有以下特點:

    1. 維表只和事實表關聯,維表之間沒有關聯;
    2. 每個維表的主碼為單列,且該主碼放置在事實表中,作為兩邊連接的邏輯外鍵;
    3. 以事實表為核心,維表圍繞核心呈星形分佈;
    1. 雪花模式

    雪花模式(Snowflake Schema)是對星形模式的擴展,每個維表可繼續向外連接多個子維表。(三範式代表作)

    星形模式中的維表相對雪花模式來說要大,而且不滿足規範化設計。雪花模型相當於將星形模式的大維表拆分成小維表,滿足了規範化設計。然而這種模式在實際應用中很少見,因為這樣做會導致開發難度增大,而數據冗餘問題在數據倉庫里並不嚴重。

    1. 星座模式

    星座模式(Fact Constellations Schema)也是星型模式的擴展。

    前面兩種維度建模方法都是多維表對應單事實表,但在很多時候維度空間內的事實表不止一個,而一個維表也可能被多個事實表用到。在業務發展後期,星座模式將作為最主要的維度建模。

    6.4 維度表和事實表

    1. 維度表(dimension)

    表示對分析主題所屬類型的描述。比如”昨天早上張三在京東花費200元購買了一個皮包”。那麼以購買為主題進行分析,可從這段信息中提取三個維度:時間維度(昨天早上),地點維度(京東), 商品維度(皮包)。通常來說維度表信息比較固定,且數據量小。

    1. 事實表(fact table)

    表示對分析主題的度量。比如上面那個例子中,200元就是事實信息。事實表包含了與各維度表相關聯的邏輯外鍵,並通過JOIN方式與維度表關聯。事實表的度量通常是數值類型,且記錄數會不斷增加,表規模迅速增長。

    1. 事實維度舉例

    昨天我去菜市場買了一隻蝙蝠,然後我就被隔離了。

    • 事實:訂單==>買蝙蝠這個事

    • 維度:

      • 時間==>昨天
      • 用戶==>我
      • 商品==>蝙蝠
      • 地理==>菜市場

    6.4.1 維度表

    維度表:一般是對事實的描述信息。每一張維表對應現實世界中的一個對象或者概念。 例如:用戶、商品、日期、地區等。

    常用於一個客觀世界的維度描述,往往列比較多。

    審視數據的角度

    • 維表的特徵:
      • 維表的範圍很寬(具有多個屬性、列比較多)
      • 跟事實表相比,行數相對較小:通常< 10 萬條
      • 靜態表示的,名詞性質的表

    6.4.2 事實表

    事實表用於正確的記錄既定的已經發生的事實,常用於存儲ID和度量值,各種維度外鍵

    事實表中的每行數據代表一個業務事件(下單、支付、退款、評價等)。“事實”這 個術語表示的是業務事件的度量值(可統計次數、個數、件數、金額等),例如,訂單事件中的下單金額。

    每一個事實表的行包括:具有可加性的數值型的度量值、與維表相連接的外鍵、通常具 有兩個和兩個以上的外鍵、外鍵之間表示維表之間多對多的關係。

    • 事實表的特徵:
      • 非常的大
      • 內容相對的窄:列數較少
      • 經常發生變化,每天會新增加很多
      • 動態表示的,動詞性質的表
    1. 事務型事實表(每天導入新增)
      • 以每個事務或事件為單位,例如一個銷售訂單記錄,一筆支付記錄等,作為事實表裡的 一行數據。一旦事務被提交,事實表數據被插入,數據就不再進行更改,其更新方式為增量 更新
    2. 周期型快照事實表(每日全量)
      • 周期型快照事實表中不會保留所有數據,只保留固定時間間隔的數據,例如每天或者 每月的銷售額,或每月的賬戶餘額等
    3. 累積型快照事實表(每天導入新增及變化)
      • 累計快照事實表用於跟蹤業務事實的變化。例如,數據倉庫中可能需要累積或者存儲 訂單從下訂單開始,到訂單商品被打包、運輸、和簽收的各個業務階段的時間點數據來跟蹤 訂單聲明周期的進展情況。當這個業務過程進行時,事實表的記錄也要不斷更新。

    6.5 數據分層

    • 為什麼分層:
      • 簡單化:把複雜的任務分解為多層來完成,每層處理各自的任務,方便定位問題。
      • 減少重複開發:規範數據分層,通過中間層數據,能夠極大的減少重複計算,增加結果復用性。
      • 隔離數據:不論是數據異常還是數據敏感性,使真實數據和統計數據解耦。

    下面列舉常見電商表的分層結構

    6.5.1 ODS層

    • 保持數據原貌不做任何修改,起到備份數據的作用。
    • 數據採用壓縮,減少磁盤存儲空間(例如:原始數據 100G,可以壓縮到 10G 左 右)
    • 創建分區表,防止後續的全表掃描

    6.5.2 DWD層

    DWD 層需構建維度模型,一般採用星型模型,呈現的狀態一般為星座模型。

    • 維度建模一般按照四個步驟: 選擇業務過程→聲明粒度→確認維度→確認事實

    • 選擇業務過程

      • 在業務系統中,挑選我們感興趣的業務線,比如下單業務,支付業務,退款業務,物流 業務,一條業務線對應一張事實表。
    • 聲明粒度

      • 數據粒度指數據倉庫的數據中保存數據的細化程度或綜合程度的級別。

      • 聲明粒度意味着精確定義事實表中的一行數據表示什麼,應該盡可能選擇最小粒度,以 此來應各種各樣的需求。

      • 典型的粒度聲明如下:

        • 訂單中,每個商品項作為下單事實表中的一行,粒度為每次下單
        • 每周的訂單次數作為一行,粒度就是每周下單。
        • 每月的訂單次數作為一行,粒度就是每月下單
    • 確定維度

      • 維度的主要作用是描述業務是事實,主要表示的是“誰,何處,何時”等信息。
    • 確定事實

      • 此處的“事實”一詞,指的是業務中的度量值,例如訂單金額、下單次數等。
      • 在 DWD 層,以業務過程為建模驅動,基於每個具體業務過程的特點,構建最細粒度的 明細層事實表。事實表可做適當的寬表化處理。
    事實/維度 時間 用戶 地區 商品 優惠卷 活動 編碼 度量
    訂單 件數/金額
    訂單詳情 件數/金額
    支付 次數/金額
    加入購物車 件數/金額
    收藏 個數
    評價 個數
    退款 件數/金額
    優惠卷領用 個數

    6.5.3 DWS層

    • 統計各個主題對象的當天行為,服務於 DWT 層的主題寬表,以及一些業務明細數據, 應對特殊需求(例如,購買行為,統計商品復購率)。

    6.5.4 DWT層

    • 以分析的主題對象為建模驅動,基於上層的應用和產品的指標需求,構建主題對象的全 量寬表。(就是按照維度來決定分析者的角度,如用戶->什麼時間->下了什麼單,支付了什麼,加入購物車了什麼)

    6.5.5 ADS層

    對系統各大主題指標分別進行分析。

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※想知道最厲害的網頁設計公司"嚨底家"!

    ※別再煩惱如何寫文案,掌握八大原則!

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

  • 印度學者:中國築壩正破壞喜馬拉雅生態

    摘錄自2018年8月27日中央社報導

    印度新德里政策研究中心戰略研究教授切拉尼(Brahma Chellaney)表示,喜馬拉雅生態系統日漸脆弱,雖然在這一地區大規模資源濫採的國家都應受到譴責,「但沒有一個國家像中國,對喜馬拉雅造成如此嚴重的破壞」。

    切拉尼撰文寫道,亞洲的未來與喜馬拉雅山的關係緊密,但人類卻大規模建設水壩且肆無忌憚地開採資源,破壞當地生態系統,其中中國透過築壩改造天然河流,卻有愈來愈多工程引水項目集中在國外,而非內部河流。以喜馬拉雅冰川地區來說,目前中國造壩已覆蓋近3/4的青藏高原。

    針對中國行徑,切拉尼還指出2點,一是中國想在青藏高原乾旱的北部和西北部製造人造雨,外界擔心此舉會吸走喜馬拉雅其他地區(西藏的降雨集中地)的水分;另一是中國大肆開發礦產資源,如開發銅礦的行動已汙染藏族的Pemako(隱藏的蓮花地)地區。

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※帶您來了解什麼是 USB CONNECTOR  ?

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    ※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!

    ※綠能、環保無空污,成為電動車最新代名詞,目前市場使用率逐漸普及化

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※教你寫出一流的銷售文案?

  • 載不動聖誕老人 瑞典夏季乾旱 部分馴鹿餓死

    環境資訊中心綜合外電;姜唯 編譯;林大利 審校

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※為什麼 USB CONNECTOR 是電子產業重要的元件?

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※台北網頁設計公司全省服務真心推薦

    ※想知道最厲害的網頁設計公司"嚨底家"!

    ※推薦評價好的iphone維修中心

  • 德鐵挑戰氣候目標 2030年減碳50%、使用70%綠電

    環境資訊中心記者 陳文姿報導

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

    南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!

    ※教你寫出一流的銷售文案?

    ※超省錢租車方案

  • 世界水資源週上談淹水 WWF:自由流動的河很重要

    環境資訊中心綜合外電;姜唯 編譯;林大利 審校

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※Google地圖已可更新顯示潭子電動車充電站設置地點!!

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※別再煩惱如何寫文案,掌握八大原則!

    網頁設計最專業,超強功能平台可客製化

  • 大力發展再生能源,希臘渡假勝地蒂洛斯將成地中海首座綠能島

    摘錄自2018年8月21日科技新報報導

    希臘小島蒂洛斯(Tilos)可說是愛琴海著名渡假勝地,擁有豐富環境生態與優美的海洋景致,而近期該島將透過裝置量達 200KW 太陽光電與 800KW 風能,進一步成為地中海首座 100% 再生能源供電的綠能島嶼。

    蒂洛斯島希望能透過綠能達成電力自給自足。目前技術人員則正最終測試再生能源系統,預計將在 2018 年下旬全面上路,屆時該渡假小島將可透過裝置量達 200KW 太陽能、800KW 風力發電與儲存容量(storage capacity)為 2.4MWh 的儲能系統達到 100% 綠能供電。

    該島將採用 NaNiCl2 熔鹽儲能系統,可在日照強和風大情況下儲存綠能多餘電力,並於夜間與旅遊旺季等需求量大、發電量較低時釋出電力並維持電網供電,而為提升微電網管理系統,住家與企業也會安裝智慧電錶來計算用電尖峰的時間。

    歐盟執行執委會表示,蒂洛斯將成為地中海第一個電力自主的再生能源島嶼,且由於大多海島都難以跟歐洲大陸電網相連,歐盟也打算將蒂洛斯再生能源計畫應用於其他島嶼。

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    南投搬家公司費用需注意的眉眉角角,別等搬了再說!

    ※教你寫出一流的銷售文案?

  • 法英漁船 英吉利海峽爆發大規模衝突

    摘錄自2018年8月29日中廣新聞報導

    法國和英國漁民為了扇貝捕撈,累積已久的怨恨,瞬間爆發,總共幾十艘漁船,在英吉利海峽上,先是叫罵,丟擲物品,接著彼此衝撞,英國漁船因為數量不敵法國,落荒而逃。英國漁民現在要求政府派軍艦護漁。

    英國與法國漁民在英吉利海峽因為扇貝捕撈,引發衝突,導致關係緊張,由來已久,五年前,雙方達成協議,英國同意不使用大型漁船作業,來換取更多的漁權。不過法國有休漁政策,英國沒有,法國漁船每年5月中到10月不能捕撈,英國漁船則全年都可以作業,法國漁民覺得不公平,更讓他們火大的是,英國捕獲的扇貝,大約三分之一出口,其中多數銷到法國。 

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※想知道最厲害的網頁設計公司"嚨底家"!

    ※別再煩惱如何寫文案,掌握八大原則!

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!