標籤: 包裝設計

  • PBFT共識算法

    PBFT共識算法

    拜占庭將軍問題

    我們已知的共識算法,Paxos、Raft解決的都是非拜占庭問題,也就是可以容忍節點故障,消息丟失、延時、亂序等,但節點不能有惡意節點。但如何在有惡意節點存在的情況下達成共識呢?BFT共識算法就是解決這一問題的。即不但能容忍節點故障,還能容忍一定的惡意節點或者說拜占庭節點的存在。我們下面就學習一下BFT算法中的PBFT(Practical Byzantine Fault Tolerance)。BFT算法有非常多的變種,這裏只學習PBFT,其他的可以舉一反三。

    PBFT

    PBFT核心由3個協議組成:一致性協議、檢查點協議、視圖更換協議。系統正常運行在一致性協議和檢查點協議下,只有當主節點出錯或者運行緩慢的情況下才會啟動視圖更換協議,以維持系統繼續響應客戶端的請求。下面詳解這3個子協議。在講一致性協議之前,我們屏蔽算法細節先看一下正常情況下大致是怎麼工作的,大致流程如下:

    1. 客戶端發送請求給主節點(如果請求發送給了從節點,從節點會將該請求轉發給主節點或者將主節點的信息告知客戶端,讓客戶端發送給主節點)。
    2. 主節點將請求廣播給從節點。
    3. 主從節點經過2輪投票后執行客戶端的請求並響應客戶端。(協議細節見下面的一致性協議)
    4. 客戶端收集到來着\(f+1\)個不同節點的相同的響應后,確認請求執行成功。(因為最多有\(f\)個惡意節點,\(f+1\)個相同即能保證正確性)。

    一致性協議

    一致性協議的目標是使來自客戶端的請求在每個服務器上都按照一個確定的順序執行。 在協議中,一般有一個服務器被稱作主節點,負責將客戶端的請求排序;其餘的服務器稱作從節點,按照主節點提供的順序執行請求。所有的服務器都在相同的配置信息下工作,這個配置信息稱作視圖view,每更換一次主節點,視圖view就會隨之變化。協議主要分pre-preparepreparecommit三階段,如下圖所示:

    REQUEST:

    首先是客戶端發起請求, 請求<REQUEST,o,t,c>中時間戳t主要用來保證exactly-once語義,也就是說對同一客戶端請求不能有執行2次的情況,具體實現時也不一定非是時間戳,也可以是邏輯時鐘或者其他,只要能唯一標識這個請求就可以了。

    PRE-PREPARE:

    【1】 收到客戶端的請求消息后,先判斷當前正在處理的消息數量是否超出限制,如果超出限制,則先緩存起來,後面再打包一起處理。否則的話(當然,沒超過也可以緩存處理),對請求分配序列號n,並附加視圖號v等信息生成PRE-PREPARE消息<<PRE-PREPARE,v,n,d>,m>,廣播給其他節點。簡而言之就是對請求分配序號並告知所有節點。

    【2】 收到PRE-PREPARE的消息後進行如下處理:

    • 消息合法性檢查,消息簽名是否正確,消息摘要是否正確。
    • 視圖檢查,檢查是否是同一個視圖號v
    • 水線檢查,判斷n是否在hH之間。(h一般是系統穩定檢查點,H是上限,會隨着h的不斷提高而提高)

    如果都通過的話,就廣播PREPARE消息<PREPARE,v,n,d,i>給其他節點,表示自己收到並認可[n,v]這個請求,進入prepare階段。如果沒有通過,則忽略該消息。

    這裏想一個問題,從節點能不能收到PRE-PREPARE消息就執行請求呢?答案顯然是不能的,因為不能確認本節點與其他節點收到的是相同的請求消息,此時不能確定主節點是不是正常節點,如果主節點是惡意節點呢?比如,發送給從節點1的消息是m,而發送給從節點2的消息是m',如果直接執行就會出現從節點的不一致。因為不能確認本節點與其他節點收到的是相同的請求消息,所以要通過從節點與從節點交互的方式互相告知收到了請求消息,好讓後面階段對比一下,是否一致。

    PREPARE:
    收到PREPARE消息<PREPARE,v,n,d,i>后,進行如下處理:

    • 消息合法性檢查,消息簽名是否正確,消息摘要是否正確。
    • 視圖檢查,檢查是否是同一個視圖號v
    • 水線檢查,判斷n是否在hH之間。

    如果上面都通過,就將PREPARE消息加入到日誌中,並繼續收集PREPARE消息,如果收到正確的\(2f\)張(包括自己)PREPARE消息,這裏如何驗證是否正確呢?主要是收到的PREPARE要與PRE-PREPARE中的vnd等信息要匹配,就進入COMMIT階段,廣播COMMIT消息<COMMIT,v,n,D(m),i>

    這一階段一般也可以稱為第一輪投票,目的是什麼呢?論文中是這麼說的:The pre-prepare and prepare phases of the algorithm guarantee that non-faulty replicas agree on a total order for the requests within a view. 濃縮為兩個字就是定序,確定在同一視圖下足額的正常的節點都對來自客戶端的請求有相同的定序。再說的直白點,就是解決上面提到的,無法確認本節點與其他節點收到的消息是否一致的問題。通過檢查相同視圖號v及同一序號n下的消息摘要d是否一致來判斷同一視圖配置下的同一個序號請求的消息是否一致。同時也確保了有足夠數量的節點收到了一致的消息請求。

    可以再想一個問題,此時可以直接執行請求嗎?答案是不可以,因為此時,你只能確認自己收到了\(2f\)個一致的PREPARE消息,你無法確認其他節點是否也收到了\(2f\)個一致的PREPARE消息。也就是說,當前,你只能確認自己準備好了去執行序號為n的請求,但是你不能確認其他節點有沒有準備好,所以,還要再進行一次節點間的消息交互,互相告訴大家,我準備好了。

    COMMIT:

    在上一階段,節點收到足額PREPARE投票後會廣播COMMIT投票,過程類似,當節點收到其他節點的COMMIT投票消息后,會進行如下檢查:

    • 消息合法性檢查,檢查消息簽名是否正確,消息摘要正不正確有沒有被篡改。
    • 視圖檢查,view是否匹配。
    • 水線檢查,判斷n是否在hH之間。

    如果都通過則把收到的投票消息寫入日誌log中,如果收到的合法的COMMIT投票消息大於等於\(2f+1\)個(包括自己),意思就是,已經確認大多數節點都準備好了執行請求,就執行請求並回復REPLY消息給客戶端。這裏如同上面一樣,也是檢查視圖,序號及消息是否匹配。

    REPLY:

    客戶端收到REPLY后,會進行統計,如果收到\(f+1\)個相同時間戳t和響應值r,則認為請求響應成功。如果在規定的時間內沒有收到回應或者沒有收到足額回應怎麼辦?可以將該請求廣播給所有節點,節點收到請求后,如果該請求已經被狀態機執行了,則再次回復客戶端REPLY消息,如果沒有被狀態機執行,如果節點不是主節點,就將該請求轉發給主節點。如果主節點沒有正常的將該請求廣播給其他節點,則將會被懷疑是主節點故障或惡意節點,當有足夠的節點都懷疑時將會觸發視圖變更協議,更換視圖。

    我們進行進一步的分析,可以看到,如果是客戶端沒有收到任何回應,很有可能是主節點故障或主節點是惡意節點(我就故意不執行你的請求),沒有將請求足額廣播給其他節點,(當然還有消息丟失等原因,這裏不在詳細分析),這時,客戶端因一直沒有響應,所以將請求廣播給了所有節點,所有節點收到請求后,轉發給主節點后發現主節點怎麼什麼都不幹呀,懷疑主節點有問題,然後觸發視圖更換協議,換掉主節點。當然,客戶端沒有收到足額回應的一個原因還可能是消息丟失,那麼如果是已經執行了該請求的節點再次收到該請求後會再次回應REPLY,前提是該請求是在水線範圍內的合法請求,否則被拒絕。

    檢查點協議

    在上面的一致性協議中可以看到,系統每執行一個請求,服務器都需要記錄日誌(包括,request、pre-prepare、prepare、commit等消息)。如果日誌得不到及時的清理,就會導致系統資源被大量的日誌所佔用,影響系統性能及可用性。另一方面,由於拜占庭節點的存在,一致性協議並不能保證每一台服務器都執行了相同的請求,所以,不同服務器狀態可能不一致。例如,某些服務器可能由於網絡延時導致從某個序號開始之後的請求都沒有執行。因此,設置周期性的檢查點協議,將系統中的服務器同步到某一個相同的狀態。簡言之,主要作用有2個:1、同步服務器的狀態;2、定期清理日誌。

    同步服務器的狀態,比較容易理解與做到。比如在區塊鏈系統中,同步服務器的狀態,實際上就是追塊,即服務器節點會通過鏈定時廣播的鏈世界狀態或其他消息獲知到自己區塊落後了,然後啟動追塊流程。

    定期清理日誌,怎麼做呢?首先要明確哪些日誌可以被清理,哪些日誌仍然需要保留。如果一個請求已經被\(f+1\)台非拜占庭節點執行,並且某一服務器節點i可以向其他服務器節點證明這一點,那麼該i節點就可以將關於這個請求的日誌刪除。協議一般採用的方式是服務器節點每執行一定數量的請求就將自己的狀態發送給所有服務器並且執行一個該協議,如果某台服務器節點收到\(2f+1\)台服務器節點的狀態,那麼其中一致的部分就是至少有\(f+1\)台非拜占庭服務器節點經歷過的狀態,因此,這部分的日誌就可以刪除,同時更新為較新狀態。

    具體實現時可以聯想到上面的一致性協議總的水線檢查。上面的低水線h值等同於穩定檢查點,穩定檢查點之前的日誌都可被清理掉。高水線H=h+k,也就是接收請求序號上限值,因為穩定檢查點往往是間隔很多的序號才觸發一次,所以k一般要設置的足夠大。例如,每間隔100個請求就觸發一次檢查點協議,提升水線,k可以設置為200。

    這裏解釋一下穩定檢查點的概念,可以理解為當\(2f+1\)個節點都達到了某個請求序號,該請求序號就是穩定檢查點。所有穩定檢查點之前的消息都可以被丟棄,減少資源佔用。 對比Raft,Raft是通過快照的方式壓縮日誌,都需要一個清理日誌的機制,不然日誌無限增長下去會造成系統不可用

    視圖更換協議

    在一致性協議里,已經知道主節點在整個系統中擁有序號分配,請求轉發等核心能力,支配着這個系統的運行行為。然而一旦主節點自身發生錯誤,就可能導致從節點接收到具有相同序號的不同請求,或者同一個請求被分配多個序號等問題,這將直接導致請求不能被正確執行。視圖更換協議的作用就是在主節點不能繼續履行職責時,將其用一個從節點替換掉,並且保證已經被非拜占庭服務器執行的請求不會被篡改。即,核心有2點:1,主節點故障時,可能造成系統不可用,要更換主節點;2,當主節點是惡意節點時,要更換為誠實節點,不能讓作惡節點作為主節點。

    當檢測到主節點故障或為惡意節點觸發視圖更換時,下一任主節點應該選誰呢?PBFT的辦法是採用“輪流上崗”的方式,通過\((v+1) \ mod \ N\),其中\(v\)為當前視圖號,\(N\)為節點總數,通過這一方式確定下一個視圖的主節點。還有個更關鍵的問題,什麼時候觸發視圖更換協議呢?我們繼續往下討論。

    如果是主節點故障的情況,這種情況一般較好處理。具體實現時,一般從節點都會維護一個定時器,如果長時間沒有收到來自主節點的消息,就會認為主節點發生故障。此時可觸發視圖更換協議,當然具體實現時,細節可能會不同,比如,也可以是這種情況,客戶端發送請求給故障主節點必然導致長時間收不到響應,所以,客戶端將請求發送給了系統中所有從節點,從節點將請求轉發給主節點並啟動定時器,如果主節點長時間沒有將該請求分配序號發送PRE-PREPARE消息,認為主節點故障,觸發視圖更換協議。這2種情況比較好理解,但就這2種情況嗎?其實還有以下幾種情況也會觸發視圖更換協議:

    • 從節點廣播PREPARE消息后,在約定的時間內未收到來自其他節點的\(2f\)個一致合法消息。
    • 從節點廣播COMMIT消息后,在約定的時間內未收到來自其他節點的\(2f\)個一致合法消息。
    • 從節點收到異常消息,比如視圖、序號一致,但消息不一致。
      這三點,都有可能是主節點作惡導致的,但也有可能是消息丟失等原因導致的。雖然不一定是因為主節點異常導致的,但從另一個角度看,解決了從節點不能無限等待其他節點投票消息的問題。

    這裏補充一點,觸發視圖更換協議后,將不再接收除檢查點消息、VIEW-CHANGE消息、NEW-VIEW消息之外的消息。也就是視圖更換期間,不再接收客戶端請求,暫停服務。

    解決了什麼時候觸發的問題后,下一個問題就是具體怎麼實現呢?當因上面的情況觸發視圖更換協議時,從節點i就會廣播一個VIEW-CHANGE消息<VIEW-CHANGE,v+1,n,C,P,i>,序號n是節點i的最新穩定檢查點sC\(2f+1\)個有效檢查點消息,是為了證明穩定檢查點s的正確性,P是位於序號n之後的一系列消息的結合,這裏要包含這些信息可以理解為是證據,也就是說,從節點不能隨便就發送一個VIEW-CHANGE,什麼證據都沒有,別人怎麼能認同你更換視圖呢?。上面我們提到過下一任主節點是誰的問題?通過\((v+1) \ mod \ N\)確定的一下任主節點p(在圖中就是節點1),在收到\(2f\)個有效的VIEW-CHANGE消息后,就廣播<NEW-VIEW,v+1,V,O>消息,這裏VO具體的生成方法參考原論文,主要是VIEW-CHANGEPRE-PREPARE等消息構成的集合,主要目的是為了讓從節點去驗證當前新的主節點的合法性以及解決下面這個問題,還有要處理未確認消息和投票消息。

    視圖更換協議需要解決的問題是如何保證已經被非拜占庭服務器執行的請求不被更改。由於系統達成一致性之後至少有\(f+1\)台非拜占庭服務器節點執行了請求,所以目前採用的方法是:由新的主節點收集至少\(2f+1\)台服務器節點的狀態信息(也就是上面在構造消息時所需的各種消息集合),這些狀態信息中一定包含所有執行過的請求;然後,新主節點將這些狀態信息發送給所有的服務器,服務器按照相同的原則將在上一個主節點完成的請求同步一遍,同步之後,所有的節點都處於相同的狀態,這時就可以開始執行新的請求。

    若干細節問題的思考

    在3階段協議中,對收到的消息都要進行消息合法性檢查、視圖檢查、水線檢查這3項檢查,為什麼呢?

    這3項檢查是十分有必要的,添加消息簽名是為了驗證投票是否合法,正確統計合法票數,不能是隨便一個不知道的節點都能投票,那我怎麼驗證到底是誰投的呀。也就是說,要通過消息簽名的方式確認消息來源,通過消息摘要的方式,確認消息沒有被篡改。當然,考慮到性能因素,也可以使用消息認證碼(MAC),以節省大量加解密的性能開銷。PBFT算法,可以容忍節點作惡,消息丟失、延時、亂序,但消息不能被篡改。

    視圖檢查比較容易理解,所有節點必須在同一個配置下才能正常工作。如果節點的視圖配置不一致,比如主節點不一致、節點數量不一致,那統計合法票數的時候,真沒法幹了。

    水線檢查,是檢查點協議的一部分,在工程實現時,不是所有的請求我都有處理,比如,你收到一個歷史投票信息,你還有必要處理嗎?當然,它的作用不止於此,還可以防止惡意節點選擇一個非常大的序列號而耗盡序列號空間,例如,當一個節點分配了超過H上限的序列號,這時,正常節點會拒絕這個請求從而阻止了惡意節點分配的遠超過H的序列號。

    3階段協議中每一階段的意義是什麼?

    論文中有如下錶述:

    The three phases are pre-prepare, prepare, and commit.The pre-prepare and prepare phases are used to totally order requests sent in the same view even when the primary, which proposes the ordering of requests, is faulty. The prepare and commit phases are used to ensure that requests that commit are totally ordered across views.

    即,pre-prepareprepare階段,主要的作用就是定序,個人理解就是要確認有足夠數量的節點收到同一請求,並且與自己所收到的請求相一致。prepare以及commit階段是確認大家執行的同一請求。

    為什麼是\(3f+1\)

    我們知道PBFT的容錯能力為不超過三分之一,即\(n=3f+1\)\(f\)為拜占庭節點數量。但這個公式是怎麼來的呢?論文中有這麼一段論述可以幫助我們去理解:

    The resiliency of our algorithm is optimal: \(3f+1\) is the minimum number of replicas that allow an asynchronous system to provide the safety and liveness properties when up to \(f\) replicas are faulty. This many replicas are needed because it must be possible to proceed after communicating with \(n-f\) replicas, since \(f\) replicas might be faulty and not responding. However, it is possible that the \(f\) replicas that did not respond are not faulty and, therefore, \(f\) of those that responded might be faulty. Even so, there must still be enough responses that those from non-faulty replicas outnumber those from faulty ones, i.e., \(n-2f>f\). Therefore \(n>3f\).

    意思就是,在一個容忍\(f\)個錯誤節點的系統中,系統至少要\(3f+1\)個節點才能保證系統安全可靠。為什麼呢?因為在所有\(n\)個節點中,有\(f\)個節點可能因故障而沒有回應(或者投票),而在回應的\(n-f\)中又有可能有\(f\)個是惡意節點的回應,即使如此,也要保證正常節點的投票要多於惡意節點的投票數量,即\(n-f-f>f\),推出\(n>3f\)

    PBFT對比Raft

    PBFT對比Raft,最大的不同在於解決的問題不一樣,雖然都是共識算法,但一個解決的拜占庭問題,另一個則解決的非拜占庭問題。從算法細節上來看,Raft中的領導者是強領導者,即,一切領導者說了算,但PBFT中對應的主節點卻不是,因為不能保證主節點不是拜占庭節點,萬一主節點作惡,從節點要有發現主節點是惡意節點的能力,並及時觸發視圖更換協議更換主節點。從算法消耗的資源來看,明顯PBFT要更複雜,投票數明顯多於Raft,不但要主從節點交互,還有從節點與從節點互相交互,所以,其性能也一定比Raft低,這是肯定的,因為PBFT解決的問題比Raft更複雜,一定程度上可以認為Raft是PBFT的子集,如果你把PBFT三階段協議中從節點與從節點交互的那部分去掉,只保留主節點與從節點交互的那部分,你會發現,好像還蠻像的。從另一個方面說,Raft算法,因為沒有拜占庭節點的存在,領導者節點一定是對的,從節點一切聽領導的就是。但是在PBFT中,從節點就不能光聽主節點的,萬一主節點也是壞人咋辦?怎麼解決這個問題呢?顯然,只聽主節點肯定是不行的,我還要看看其他節點的意見,如果有足額的節點認為是對的,就同意。怎麼確定足額節點數到底是多少呢?上面有講到過。所以,相比Raft,PBFT多了從節點與從節點的消息交互。

    PBFT的時間複雜度分析

    PBFT有比較明顯的兩輪投票,所以時間複雜度\(O(n^2)\),節點數量較大時,一次共識協商所需的消息太多,這也決定了PBFT只能適用於節點數量不大的系統中,比如區塊鏈中的許可鏈,公鏈節點數量太多,並不適用PBFT算法。

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計最專業,超強功能平台可客製化

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    ※回頭車貨運收費標準

    ※推薦評價好的iphone維修中心

    ※教你寫出一流的銷售文案?

  • 8000字長文讓你徹底了解 Java 8 的 Lambda、函數式接口、Stream 用法和原理

    8000字長文讓你徹底了解 Java 8 的 Lambda、函數式接口、Stream 用法和原理

    我是風箏,公眾號「古時的風箏」。一個兼具深度與廣度的程序員鼓勵師,一個本打算寫詩卻寫起了代碼的田園碼農!
    文章會收錄在 JavaNewBee 中,更有 Java 後端知識圖譜,從小白到大牛要走的路都在裏面。公眾號回復『666』獲取高清大圖。

    就在今年 Java 25周歲了,可能比在座的各位中的一些少年年齡還大,但令人遺憾的是,竟然沒有我大,不禁感嘆,Java 還是太小了。(難道我會說是因為我老了?)

    而就在上個月,Java 15 的試驗版悄悄發布了,但是在 Java 界一直有個神秘現象,那就是「你發你發任你發,我的最愛 Java 8」.

    據 Snyk 和 The Java Magazine 聯合推出發布的 2020 JVM 生態調查報告显示,在所有的 Java 版本中,仍然有 64% 的開發者使用 Java 8。另外一些開發者可能已經開始用 Java 9、Java 11、Java 13 了,當然還有一些神仙開發者還在堅持使用 JDK 1.6 和 1.7。

    儘管 Java 8 發布多年,使用者眾多,可神奇的是竟然有很多同學沒有用過 Java 8 的新特性,比如 Lambda表達式、比如方法引用,再比如今天要說的 Stream。其實 Stream 就是以 Lambda 和方法引用為基礎,封裝的簡單易用、函數式風格的 API。

    Java 8 是在 2014 年發布的,實話說,風箏我也是在 Java 8 發布后很長一段時間才用的 Stream,因為 Java 8 發布的時候我還在 C# 的世界中掙扎,而使用 Lambda 表達式卻很早了,因為 Python 中用 Lambda 很方便,沒錯,我寫 Python 的時間要比 Java 的時間還長。

    要講 Stream ,那就不得不先說一下它的左膀右臂 Lambda 和方法引用,你用的 Stream API 其實就是函數式的編程風格,其中的「函數」就是方法引用,「式」就是 Lambda 表達式。

    Lambda 表達式

    Lambda 表達式是一個匿名函數,Lambda表達式基於數學中的λ演算得名,直接對應於其中的lambda抽象,是一個匿名函數,即沒有函數名的函數。Lambda表達式可以表示閉包。

    在 Java 中,Lambda 表達式的格式是像下面這樣

    // 無參數,無返回值
    () -> log.info("Lambda")
    
     // 有參數,有返回值
    (int a, int b) -> { a+b }
    

    其等價於

    log.info("Lambda");
    
    private int plus(int a, int b){
      	return a+b;
    }
    

    最常見的一個例子就是新建線程,有時候為了省事,會用下面的方法創建並啟動一個線程,這是匿名內部類的寫法,new Thread需要一個 implements 自Runnable類型的對象實例作為參數,比較好的方式是創建一個新類,這個類 implements Runnable,然後 new 出這個新類的實例作為參數傳給 Thread。而匿名內部類不用找對象接收,直接當做參數。

    new Thread(new Runnable() {
        @Override
        public void run() {
            System.out.println("快速新建並啟動一個線程");
        }
    }).run();
    

    但是這樣寫是不是感覺看上去很亂、很土,而這時候,換上 Lambda 表達式就是另外一種感覺了。

    new Thread(()->{
        System.out.println("快速新建並啟動一個線程");
    }).run();
    

    怎麼樣,這樣一改,瞬間感覺清新脫俗了不少,簡潔優雅了不少。

    Lambda 表達式簡化了匿名內部類的形式,可以達到同樣的效果,但是 Lambda 要優雅的多。雖然最終達到的目的是一樣的,但其實內部的實現原理卻不相同。

    匿名內部類在編譯之後會創建一個新的匿名內部類出來,而 Lambda 是調用 JVM invokedynamic指令實現的,並不會產生新類。

    方法引用

    方法引用的出現,使得我們可以將一個方法賦給一個變量或者作為參數傳遞給另外一個方法。::雙冒號作為方法引用的符號,比如下面這兩行語句,引用 Integer類的 parseInt方法。

    Function<String, Integer> s = Integer::parseInt;
    Integer i = s.apply("10");
    

    或者下面這兩行,引用 Integer類的 compare方法。

    Comparator<Integer> comparator = Integer::compare;
    int result = comparator.compare(100,10);
    

    再比如,下面這兩行代碼,同樣是引用 Integer類的 compare方法,但是返回類型卻不一樣,但卻都能正常執行,並正確返回。

    IntBinaryOperator intBinaryOperator = Integer::compare;
    int result = intBinaryOperator.applyAsInt(10,100);
    

    相信有的同學看到這裏恐怕是下面這個狀態,完全不可理喻嗎,也太隨便了吧,返回給誰都能接盤。

    先別激動,來來來,現在咱們就來解惑,解除蒙圈臉。

    Q:什麼樣的方法可以被引用?

    A:這麼說吧,任何你有辦法訪問到的方法都可以被引用。

    Q:返回值到底是什麼類型?

    A:這就問到點兒上了,上面又是 Function、又是Comparator、又是 IntBinaryOperator的,看上去好像沒有規律,其實不然。

    返回的類型是 Java 8 專門定義的函數式接口,這類接口用 @FunctionalInterface 註解。

    比如 Function這個函數式接口的定義如下:

    @FunctionalInterface
    public interface Function<T, R> {
        R apply(T t);
    }
    

    還有很關鍵的一點,你的引用方法的參數個數、類型,返回值類型要和函數式接口中的方法聲明一一對應才行。

    比如 Integer.parseInt方法定義如下:

    public static int parseInt(String s) throws NumberFormatException {
        return parseInt(s,10);
    }
    

    首先parseInt方法的參數個數是 1 個,而 Function中的 apply方法參數個數也是 1 個,參數個數對應上了,再來,apply方法的參數類型和返回類型是泛型類型,所以肯定能和 parseInt方法對應上。

    這樣一來,就可以正確的接收Integer::parseInt的方法引用,並可以調用Funcitonapply方法,這時候,調用到的其實就是對應的 Integer.parseInt方法了。

    用這套標準套到 Integer::compare方法上,就不難理解為什麼即可以用 Comparator<Integer>接收,又可以用 IntBinaryOperator接收了,而且調用它們各自的方法都能正確的返回結果。

    Integer.compare方法定義如下:

    public static int compare(int x, int y) {
        return (x < y) ? -1 : ((x == y) ? 0 : 1);
    }
    

    返回值類型 int,兩個參數,並且參數類型都是 int

    然後來看ComparatorIntBinaryOperator它們兩個的函數式接口定義和其中對應的方法:

    @FunctionalInterface
    public interface Comparator<T> {
        int compare(T o1, T o2);
    }
    
    @FunctionalInterface
    public interface IntBinaryOperator {
        int applyAsInt(int left, int right);
    }
    

    對不對,都能正確的匹配上,所以前面示例中用這兩個函數式接口都能正常接收。其實不止這兩個,只要是在某個函數式接口中聲明了這樣的方法:兩個參數,參數類型是 int或者泛型,並且返回值是 int或者泛型的,都可以完美接收。

    JDK 中定義了很多函數式接口,主要在 java.util.function包下,還有 java.util.Comparator 專門用作定製比較器。另外,前面說的 Runnable也是一個函數式接口。

    自己動手實現一個例子

    1. 定義一個函數式接口,並添加一個方法

    定義了名稱為 KiteFunction 的函數式接口,使用 @FunctionalInterface註解,然後聲明了具有兩個參數的方法 run,都是泛型類型,返回結果也是泛型。

    還有一點很重要,函數式接口中只能聲明一個可被實現的方法,你不能聲明了一個 run方法,又聲明一個 start方法,到時候編譯器就不知道用哪個接收了。而用default 關鍵字修飾的方法則沒有影響。

    @FunctionalInterface
    public interface KiteFunction<T, R, S> {
    
        /**
         * 定義一個雙參數的方法
         * @param t
         * @param s
         * @return
         */
        R run(T t,S s);
    }
    

    2. 定義一個與 KiteFunction 中 run 方法對應的方法

    在 FunctionTest 類中定義了方法 DateFormat,一個將 LocalDateTime類型格式化為字符串類型的方法。

    public class FunctionTest {
        public static String DateFormat(LocalDateTime dateTime, String partten) {
            DateTimeFormatter dateTimeFormatter = DateTimeFormatter.ofPattern(partten);
            return dateTime.format(dateTimeFormatter);
        }
    }
    

    3.用方法引用的方式調用

    正常情況下我們直接使用 FunctionTest.DateFormat()就可以了。

    而用函數式方式,是這樣的。

    KiteFunction<LocalDateTime,String,String> functionDateFormat = FunctionTest::DateFormat;
    String dateString = functionDateFormat.run(LocalDateTime.now(),"yyyy-MM-dd HH:mm:ss");
    

    而其實我可以不專門在外面定義 DateFormat這個方法,而是像下面這樣,使用匿名內部類。

    public static void main(String[] args) throws Exception {
      
        String dateString = new KiteFunction<LocalDateTime, String, String>() {
            @Override
            public String run(LocalDateTime localDateTime, String s) {
                DateTimeFormatter dateTimeFormatter = DateTimeFormatter.ofPattern(s);
                return localDateTime.format(dateTimeFormatter);
            }
        }.run(LocalDateTime.now(), "yyyy-MM-dd HH:mm:ss");
        System.out.println(dateString);
    }
    

    前面第一個 Runnable的例子也提到了,這樣的匿名內部類可以用 Lambda 表達式的形式簡寫,簡寫后的代碼如下:

    public static void main(String[] args) throws Exception {
    
            KiteFunction<LocalDateTime, String, String> functionDateFormat = (LocalDateTime dateTime, String partten) -> {
                DateTimeFormatter dateTimeFormatter = DateTimeFormatter.ofPattern(partten);
                return dateTime.format(dateTimeFormatter);
            };
            String dateString = functionDateFormat.run(LocalDateTime.now(), "yyyy-MM-dd HH:mm:ss");
            System.out.println(dateString);
    }
    

    使用(LocalDateTime dateTime, String partten) -> { } 這樣的 Lambda 表達式直接返回方法引用。

    Stream API

    為了說一下 Stream API 的使用,可以說是大費周章啊,知其然,也要知其所以然嗎,追求技術的態度和姿勢要正確。

    當然 Stream 也不只是 Lambda 表達式就厲害了,真正厲害的還是它的功能,Stream 是 Java 8 中集合數據處理的利器,很多本來複雜、需要寫很多代碼的方法,比如過濾、分組等操作,往往使用 Stream 就可以在一行代碼搞定,當然也因為 Stream 都是鏈式操作,一行代碼可能會調用好幾個方法。

    Collection接口提供了 stream()方法,讓我們可以在一個集合方便的使用 Stream API 來進行各種操作。值得注意的是,我們執行的任何操作都不會對源集合造成影響,你可以同時在一個集合上提取出多個 stream 進行操作。

    我們看 Stream 接口的定義,繼承自 BaseStream,機會所有的接口聲明都是接收方法引用類型的參數,比如 filter方法,接收了一個 Predicate類型的參數,它就是一個函數式接口,常用來作為條件比較、篩選、過濾用,JPA中也使用了這個函數式接口用來做查詢條件拼接。

    public interface Stream<T> extends BaseStream<T, Stream<T>> {
      
      Stream<T> filter(Predicate<? super T> predicate);
      
      // 其他接口
    }  
    

    下面就來看看 Stream 常用 API。

    of

    可接收一個泛型對象或可變成泛型集合,構造一個 Stream 對象。

    private static void createStream(){
        Stream<String> stringStream = Stream.of("a","b","c");
    }
    

    empty

    創建一個空的 Stream 對象。

    concat

    連接兩個 Stream ,不改變其中任何一個 Steam 對象,返回一個新的 Stream 對象。

    private static void concatStream(){
        Stream<String> a = Stream.of("a","b","c");
        Stream<String> b = Stream.of("d","e");
        Stream<String> c = Stream.concat(a,b);
    }
    

    max

    一般用於求数字集合中的最大值,或者按實體中数字類型的屬性比較,擁有最大值的那個實體。它接收一個 Comparator<T>,上面也舉到這個例子了,它是一個函數式接口類型,專門用作定義兩個對象之間的比較,例如下面這個方法使用了 Integer::compareTo這個方法引用。

    private static void max(){
        Stream<Integer> integerStream = Stream.of(2, 2, 100, 5);
        Integer max = integerStream.max(Integer::compareTo).get();
        System.out.println(max);
    }
    

    當然,我們也可以自己定製一個 Comparator,順便複習一下 Lambda 表達式形式的方法引用。

    private static void max(){
        Stream<Integer> integerStream = Stream.of(2, 2, 100, 5);
        Comparator<Integer> comparator =  (x, y) -> (x.intValue() < y.intValue()) ? -1 : ((x.equals(y)) ? 0 : 1);
        Integer max = integerStream.max(comparator).get();
        System.out.println(max);
    }
    

    min

    與 max 用法一樣,只不過是求最小值。

    findFirst

    獲取 Stream 中的第一個元素。

    findAny

    獲取 Stream 中的某個元素,如果是串行情況下,一般都會返回第一個元素,并行情況下就不一定了。

    count

    返回元素個數。

    Stream<String> a = Stream.of("a", "b", "c");
    long x = a.count();
    

    peek

    建立一個通道,在這個通道中對 Stream 的每個元素執行對應的操作,對應 Consumer<T>的函數式接口,這是一個消費者函數式接口,顧名思義,它是用來消費 Stream 元素的,比如下面這個方法,把每個元素轉換成對應的大寫字母並輸出。

    private static void peek() {
        Stream<String> a = Stream.of("a", "b", "c");
        List<String> list = a.peek(e->System.out.println(e.toUpperCase())).collect(Collectors.toList());
    }
    

    forEach

    和 peek 方法類似,都接收一個消費者函數式接口,可以對每個元素進行對應的操作,但是和 peek 不同的是,forEach 執行之後,這個 Stream 就真的被消費掉了,之後這個 Stream 流就沒有了,不可以再對它進行後續操作了,而 peek操作完之後,還是一個可操作的 Stream 對象。

    正好藉著這個說一下,我們在使用 Stream API 的時候,都是一串鏈式操作,這是因為很多方法,比如接下來要說到的 filter方法等,返回值還是這個 Stream 類型的,也就是被當前方法處理過的 Stream 對象,所以 Stream API 仍然可以使用。

    private static void forEach() {
        Stream<String> a = Stream.of("a", "b", "c");
        a.forEach(e->System.out.println(e.toUpperCase()));
    }
    

    forEachOrdered

    功能與 forEach是一樣的,不同的是,forEachOrdered是有順序保證的,也就是對 Stream 中元素按插入時的順序進行消費。為什麼這麼說呢,當開啟并行的時候,forEachforEachOrdered的效果就不一樣了。

    Stream<String> a = Stream.of("a", "b", "c");
    a.parallel().forEach(e->System.out.println(e.toUpperCase()));
    

    當使用上面的代碼時,輸出的結果可能是 B、A、C 或者 A、C、B或者A、B、C,而使用下面的代碼,則每次都是 A、 B、C

    Stream<String> a = Stream.of("a", "b", "c");
    a.parallel().forEachOrdered(e->System.out.println(e.toUpperCase()));
    

    limit

    獲取前 n 條數據,類似於 MySQL 的limit,只不過只能接收一個參數,就是數據條數。

    private static void limit() {
        Stream<String> a = Stream.of("a", "b", "c");
        a.limit(2).forEach(e->System.out.println(e));
    }
    

    上述代碼打印的結果是 a、b。

    skip

    跳過前 n 條數據,例如下面代碼,返回結果是 c。

    private static void skip() {
        Stream<String> a = Stream.of("a", "b", "c");
        a.skip(2).forEach(e->System.out.println(e));
    }
    

    distinct

    元素去重,例如下面方法返回元素是 a、b、c,將重複的 b 只保留了一個。

    private static void distinct() {
        Stream<String> a = Stream.of("a", "b", "c","b");
        a.distinct().forEach(e->System.out.println(e));
    }
    

    sorted

    有兩個重載,一個無參數,另外一個有個 Comparator類型的參數。

    無參類型的按照自然順序進行排序,只適合比較單純的元素,比如数字、字母等。

    private static void sorted() {
        Stream<String> a = Stream.of("a", "c", "b");
        a.sorted().forEach(e->System.out.println(e));
    }
    

    有參數的需要自定義排序規則,例如下面這個方法,按照第二個字母的大小順序排序,最後輸出的結果是 a1、b3、c6。

    private static void sortedWithComparator() {
        Stream<String> a = Stream.of("a1", "c6", "b3");
        a.sorted((x,y)->Integer.parseInt(x.substring(1))>Integer.parseInt(y.substring(1))?1:-1).forEach(e->System.out.println(e));
    }
    

    為了更好的說明接下來的幾個 API ,我模擬了幾條項目中經常用到的類似數據,10條用戶信息。

    private static List<User> getUserData() {
        Random random = new Random();
        List<User> users = new ArrayList<>();
        for (int i = 1; i <= 10; i++) {
            User user = new User();
            user.setUserId(i);
            user.setUserName(String.format("古時的風箏 %s 號", i));
            user.setAge(random.nextInt(100));
            user.setGender(i % 2);
            user.setPhone("18812021111");
            user.setAddress("無");
            users.add(user);
        }
        return users;
    }
    

    filter

    用於條件篩選過濾,篩選出符合條件的數據。例如下面這個方法,篩選出性別為 0,年齡大於 50 的記錄。

    private static void filter(){
        List<User> users = getUserData();
        Stream<User> stream = users.stream();
        stream.filter(user -> user.getGender().equals(0) && user.getAge()>50).forEach(e->System.out.println(e));
    
        /**
         *等同於下面這種形式 匿名內部類
         */
    //    stream.filter(new Predicate<User>() {
    //        @Override
    //        public boolean test(User user) {
    //            return user.getGender().equals(0) && user.getAge()>50;
    //        }
    //    }).forEach(e->System.out.println(e));
    }
    

    map

    map方法的接口方法聲明如下,接受一個 Function函數式接口,把它翻譯成映射最合適了,通過原始數據元素,映射出新的類型。

    <R> Stream<R> map(Function<? super T, ? extends R> mapper);
    

    Function的聲明是這樣的,觀察 apply方法,接受一個 T 型參數,返回一個 R 型參數。用於將一個類型轉換成另外一個類型正合適,這也是 map的初衷所在,用於改變當前元素的類型,例如將 Integer 轉為 String類型,將 DAO 實體類型,轉換為 DTO 實例類型。

    當然了,T 和 R 的類型也可以一樣,這樣的話,就和 peek方法沒什麼不同了。

    @FunctionalInterface
    public interface Function<T, R> {
    
        /**
         * Applies this function to the given argument.
         *
         * @param t the function argument
         * @return the function result
         */
        R apply(T t);
    }
    

    例如下面這個方法,應該是業務系統的常用需求,將 User 轉換為 API 輸出的數據格式。

    private static void map(){
        List<User> users = getUserData();
        Stream<User> stream = users.stream();
        List<UserDto> userDtos = stream.map(user -> dao2Dto(user)).collect(Collectors.toList());
    }
    
    private static UserDto dao2Dto(User user){
        UserDto dto = new UserDto();
        BeanUtils.copyProperties(user, dto);
        //其他額外處理
        return dto;
    }
    

    mapToInt

    將元素轉換成 int 類型,在 map方法的基礎上進行封裝。

    mapToLong

    將元素轉換成 Long 類型,在 map方法的基礎上進行封裝。

    mapToDouble

    將元素轉換成 Double 類型,在 map方法的基礎上進行封裝。

    flatMap

    這是用在一些比較特別的場景下,當你的 Stream 是以下這幾種結構的時候,需要用到 flatMap方法,用於將原有二維結構扁平化。

    1. Stream<String[]>
    2. Stream<Set<String>>
    3. Stream<List<String>>

    以上這三類結構,通過 flatMap方法,可以將結果轉化為 Stream<String>這種形式,方便之後的其他操作。

    比如下面這個方法,將List<List<User>>扁平處理,然後再使用 map或其他方法進行操作。

    private static void flatMap(){
        List<User> users = getUserData();
        List<User> users1 = getUserData();
        List<List<User>> userList = new ArrayList<>();
        userList.add(users);
        userList.add(users1);
        Stream<List<User>> stream = userList.stream();
        List<UserDto> userDtos = stream.flatMap(subUserList->subUserList.stream()).map(user -> dao2Dto(user)).collect(Collectors.toList());
    }
    

    flatMapToInt

    用法參考 flatMap,將元素扁平為 int 類型,在 flatMap方法的基礎上進行封裝。

    flatMapToLong

    用法參考 flatMap,將元素扁平為 Long 類型,在 flatMap方法的基礎上進行封裝。

    flatMapToDouble

    用法參考 flatMap,將元素扁平為 Double 類型,在 flatMap方法的基礎上進行封裝。

    collection

    在進行了一系列操作之後,我們最終的結果大多數時候並不是為了獲取 Stream 類型的數據,而是要把結果變為 List、Map 這樣的常用數據結構,而 collection就是為了實現這個目的。

    就拿 map 方法的那個例子說明,將對象類型進行轉換后,最終我們需要的結果集是一個 List<UserDto >類型的,使用 collect方法將 Stream 轉換為我們需要的類型。

    下面是 collect接口方法的定義:

    <R, A> R collect(Collector<? super T, A, R> collector);
    

    下面這個例子演示了將一個簡單的 Integer Stream 過濾出大於 7 的值,然後轉換成 List<Integer>集合,用的是 Collectors.toList()這個收集器。

    private static void collect(){
        Stream<Integer> integerStream = Stream.of(1,2,5,7,8,12,33);
        List<Integer> list = integerStream.filter(s -> s.intValue()>7).collect(Collectors.toList());
    }
    

    很多同學表示看不太懂這個 Collector是怎麼一個意思,來,我們看下面這段代碼,這是 collect的另一個重載方法,你可以理解為它的參數是按順序執行的,這樣就清楚了,這就是個 ArrayList 從創建到調用 addAll方法的一個過程。

    private static void collect(){
        Stream<Integer> integerStream = Stream.of(1,2,5,7,8,12,33);
        List<Integer> list = integerStream.filter(s -> s.intValue()>7).collect(ArrayList::new, ArrayList::add,
                ArrayList::addAll);
    }
    

    我們在自定義 Collector的時候其實也是這個邏輯,不過我們根本不用自定義, Collectors已經為我們提供了很多拿來即用的收集器。比如我們經常用到Collectors.toList()Collectors.toSet()Collectors.toMap()。另外還有比如Collectors.groupingBy()用來分組,比如下面這個例子,按照 userId 字段分組,返回以 userId 為key,List 為value 的 Map,或者返回每個 key 的個數。

    // 返回 userId:List<User>
    Map<String,List<User>> map = user.stream().collect(Collectors.groupingBy(User::getUserId));
    
    // 返回 userId:每組個數
    Map<String,Long> map = user.stream().collect(Collectors.groupingBy(User::getUserId,Collectors.counting()));
    

    toArray

    collection是返回列表、map 等,toArray是返回數組,有兩個重載,一個空參數,返回的是 Object[]

    另一個接收一個 IntFunction<R>類型參數。

    @FunctionalInterface
    public interface IntFunction<R> {
    
        /**
         * Applies this function to the given argument.
         *
         * @param value the function argument
         * @return the function result
         */
        R apply(int value);
    }
    

    比如像下面這樣使用,參數是 User[]::new也就是new 一個 User 數組,長度為最後的 Stream 長度。

    private static void toArray() {
        List<User> users = getUserData();
        Stream<User> stream = users.stream();
        User[] userArray = stream.filter(user -> user.getGender().equals(0) && user.getAge() > 50).toArray(User[]::new);
    }
    

    reduce

    它的作用是每次計算的時候都用到上一次的計算結果,比如求和操作,前兩個數的和加上第三個數的和,再加上第四個數,一直加到最後一個數位置,最後返回結果,就是 reduce的工作過程。

    private static void reduce(){
        Stream<Integer> integerStream = Stream.of(1,2,5,7,8,12,33);
        Integer sum = integerStream.reduce(0,(x,y)->x+y);
        System.out.println(sum);
    }
    

    另外 Collectors好多方法都用到了 reduce,比如 groupingByminBymaxBy等等。

    并行 Stream

    Stream 本質上來說就是用來做數據處理的,為了加快處理速度,Stream API 提供了并行處理 Stream 的方式。通過 users.parallelStream()或者users.stream().parallel() 的方式來創建并行 Stream 對象,支持的 API 和普通 Stream 幾乎是一致的。

    并行 Stream 默認使用 ForkJoinPool線程池,當然也支持自定義,不過一般情況下沒有必要。ForkJoin 框架的分治策略與并行流處理正好契合。

    雖然并行這個詞聽上去很厲害,但並不是所有情況使用并行流都是正確的,很多時候完全沒這個必要。

    什麼情況下使用或不應使用并行流操作呢?

    1. 必須在多核 CPU 下才使用并行 Stream,聽上去好像是廢話。
    2. 在數據量不大的情況下使用普通串行 Stream 就可以了,使用并行 Stream 對性能影響不大。
    3. CPU 密集型計算適合使用并行 Stream,而 IO 密集型使用并行 Stream 反而會更慢。
    4. 雖然計算是并行的可能很快,但最後大多數時候還是要使用 collect合併的,如果合併代價很大,也不適合用并行 Stream。
    5. 有些操作,比如 limit、 findFirst、forEachOrdered 等依賴於元素順序的操作,都不適合用并行 Stream。

    最後

    Java 25 周歲了,有多少同學跟我一樣在用 Java 8,還有多少同學再用更早的版本,請說出你的故事。

    壯士且慢,先給點個贊吧,總是被白嫖,身體吃不消!

    我是風箏,公眾號「古時的風箏」。一個兼具深度與廣度的程序員鼓勵師,一個本打算寫詩卻寫起了代碼的田園碼農!你可選擇現在就關注我,或者看看歷史文章再關注也不遲。

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    ※回頭車貨運收費標準

    ※推薦評價好的iphone維修中心

    ※超省錢租車方案

  • 飛機停飛郵輪不航行 氣象專家憂心:難發現「颱風熱點」

    摘錄自2020年7月18、19日鏡週刊、自由時報報導

    歐洲中程天氣預報中心表示,未來若所有航班都消失,預報準確率將會降低多達15%。為了準確預測天氣變化,氣象中心仰賴各種監測工具蒐集到的資訊來演算和預測,包括飛機、郵輪、衛星、浮標、氣象氣球、地面站和雷達。然而,近來受到疫情影響,從飛機和郵輪獲得的數據銳減,水面上的觀測也受到限制。

    CNN 報導,蘭卡斯特大學生態中心(Lancaster University’s Environment Centre)研究發現,疫情之下各地航班密度降低,使得今年3月到5月的地面天氣預報準確性下降。接下來颱風季即將來臨,蘭卡斯特大學生態中心的研究員陳穎(Dr.Ying Chen)表示,若無法精準掌握氣溫,就無法即時發現颱風熱點。

    陳穎也提到,在疫情之下不同地區所面臨到的天氣預報準確率降幅也大有不同,像是一些難以用既有設施觀測的地區,如格陵蘭和西伯利亞地區等,在航班減少的情況下,將會更加難以準確地進行天氣預測。

    氣候變遷
    國際新聞
    美國
    氣象預測
    天氣監測
    疫情下的食衣住行
    颱風
    氣象

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※想知道最厲害的網頁設計公司"嚨底家"!

    ※別再煩惱如何寫文案,掌握八大原則!

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

  • 比衣服纖維掉更多 研究:輪胎塑膠微粒隨風入海、傳送全球

    環境資訊中心綜合外電;姜唯 編譯;林大利 審校

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※別再煩惱如何寫文案,掌握八大原則!

    ※教你寫出一流的銷售文案?

    ※超省錢租車方案

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

  • 馬來西亞登嘉樓立法緊急保護海龜蛋

    摘錄自2020年7月19日法廣報導

    在馬來西亞,臨海的登嘉樓州(Terengganu)頒布了一項新法律,禁止販賣海龜蛋。當地出名的原因之一,也是因為這裡可以品嘗得到瀕臨滅絕的珍稀動物海龜的蛋。儘管現在可以看到思維開始轉變,但動物保護工作依然複雜。

    就在海龜保護機構九年來致力於搶救小海龜的同時,20公里外的Chukai市場上,海龜蛋被混在水果中,一起銷售。當地一名女商販指出,儘管這一做法沒有得到大家一致認同,但這種生意依然火紅。這名商販表示,海龜蛋的氣味在近距離真的很難聞,但它有益於防範AVC腦血管意外(中風),有人就是因此而購買,價格為2歐元三個。

    登嘉樓州的新法對保護瀕臨滅絕物種是一個進步,但當局尚未公布對違法分子如何量刑。

    生物多樣性
    國際新聞
    馬來西亞
    海龜蛋

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※別再煩惱如何寫文案,掌握八大原則!

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※超省錢租車方案

    ※教你寫出一流的銷售文案?

    網頁設計最專業,超強功能平台可客製化

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

  • 荷研發植物製塑膠瓶 一年內可生物分解

    摘錄自2020年7月21日公視報導

    荷蘭一間生化公司開發出以植物原料製造的塑膠瓶,使用完不僅可以回收,它還能在一年內自行分解。

    荷蘭生化公司技術總監古魯特表示:「而且因為從隔離膜的角度來看,PEF(生質聚酯塑膠)性能確實很好,因為紙瓶的優勢來自於紙質製造,只需要一層薄薄的PEF即可實現阻隔(液體)的性能,能好好將內容物妥善保存一段時間。」

    這種植物塑膠,是由玉米、小麥,和甜菜根作成,可以用來盛裝包括氣泡型的飲料,能大幅減少塑膠污染,跟市場對化石燃料的依賴。經過將瓶子放入淡水、鹽水、泥土跟沉澱物的實驗證明,這種塑膠經過堆肥處理後,一年內就可以完全分解,就算放在戶外,也只要幾年時間就能分解。

    生化公司認為這些瓶子,可以回收再利用,因此爭取到了美國可口可樂公司,和丹麥啤酒製造商「嘉士伯」的支持,持續開發。由於植物塑膠的製作成本,生化公司了解一開始無法在價格上占有市場優勢,因此預計先每年生產5000公噸,預計將在2023年前,會與飲料公司合作,讓產品上架。

    污染治理
    國際新聞
    荷蘭
    可生物分解
    廢棄物

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※教你寫出一流的銷售文案?

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※回頭車貨運收費標準

    ※別再煩惱如何寫文案,掌握八大原則!

    ※超省錢租車方案

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

  • 研究:提高空調能源效率、改用氣候友善製冷劑 將可省下數千億噸碳排

    環境資訊中心綜合外電;姜唯 編譯;林大利 審校

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※超省錢租車方案

    ※別再煩惱如何寫文案,掌握八大原則!

    ※回頭車貨運收費標準

    ※教你寫出一流的銷售文案?

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

  • .NetCore對接各大財務軟件憑證API——用友系列(2)

    .NetCore對接各大財務軟件憑證API——用友系列(2)

    一. 前言

    今天我們繼續來分析用友系列的第二個產品–U8Cloud2.5 ,apilink方式的API.官網的API文檔地址如下:U8API文檔 因為我們主要是憑證對接,所以使用到的模塊有總賬、基礎檔案這兩個模塊。

    Ps:2.5的財務系統如果不是最新補丁的話,要記得打補丁,不然後續的科目接口會有問題。

    二. API參數

    2.1 遠程訪問財務系統

    如果我們對接的財務系統是公有雲的U8C的話,你會得到一個遠程的財務系統的地址,接着使用UClient工具,即 通過集成友戶通,為企業應用提供了統一的單點登陸支持,支持CA登陸、短信登陸、用戶名/密碼登陸,支持企業用戶系統與友戶通進行綁定,實現統一的用戶登陸服務 的這麼一個工具。

    具體的添加應用的步驟為

    2.2 全局請求頭

    首先,我們必須要在網站內註冊賬號,API集市上有各個接口的詳細說明,我們需要獲取一個apicode參數,每個API模塊在點擊購買后系統會自動分配該模塊的apicode,所以這也就是我們需要兩個不同的apicode.

    基本上U8cloud2.5的版本接口,需要涉及到的請求參數就是這個了,接着我們就可以愉快的進行開發工作了。

    如圖,固定的全局請求頭參數有以下幾個:

    1.authoration–驗證方式;默認是apicode

    2.apicode—模塊的apicode.也就是我們上文中購買模塊后得到的參數.

    3.system—系統類型. 1—測試. 2—正式.

    4.trantype–翻譯類型; 默認為code.即採用編碼模式.

    2.3 基礎檔案

    基礎檔案,我們主要使用到的API接口有科目查詢.

    會計主體賬簿編碼–我們可以從財務系統里獲取,具體的獲取方式如下

    打開U8Client,使用正確的用戶名和密碼登錄財務系統.在企業建模平台–》基礎檔案–》組織機構–》會計主體 一欄,可以看到我們使用的會計主體賬簿編碼.如我們要使用的就是40001-9999

    其中40001為公司編碼,9999為會計方案.可以看到是採用分頁形式來訪問的,所以如果我們要一次性獲取到所有的會計科目,可以採用以下方法。

            public AccountQueryResponse QueryAccount(string pk_subjscheme, string pageIndex, string glorgBookCode)
            {
                var request = new AccountQueryRequest();
                var pms = new Dictionary<string, object>();
                pms.Add("pk_subjscheme", pk_subjscheme);
                pms.Add("glorgbookcode", glorgBookCode);
                pms.Add("page_now", pageIndex);
                pms.Add("page_size", "100");
                request.SetPostParameters(pms);
                return _Client.Excute(request);
            }
    
            public List<U8AccountResult> GetAccountQueryResult(string pk_subjscheme, string pageIndex, string glorgBookCode)
            {
                var list = new List<U8AccountResult>();
                var response = QueryAccount(pk_subjscheme, pageIndex, glorgBookCode);
                if (response != null && response.status == "success" && response.data != null)
                {
                    var result = JsonConvert.DeserializeObject<AccountQueryResult>(response.data);
                    list = result.datas == null ? new List<U8AccountResult>() : result.datas.ToList().Select(x => new U8AccountResult
                    {
                        balanorient = x.accsubjParentVO.balanorient,
                        subjcode = x.accsubjParentVO.subjcode,
                        subjname = x.accsubjParentVO.subjname,
                        dispname = x.accsubjParentVO.dispname,
                        remcode = x.accsubjParentVO.remcode,
                        subjId = x.accsubjParentVO.pk_accsubj,
                        endflag = x.accsubjParentVO.endflag,
                        subjectAssInfos = x.subjass == null ? new List<AccSubjectAssInfo>() : x.subjass.ToList().Select(t => new AccSubjectAssInfo
                        {
                            bdcode = t.bdcode,
                            bddispname = t.bddispname,
                            bdname = t.bdname
                        }).ToList()
                    }).ToList();
                }
                return list;
            }
    
    ///獲取所有的會計科目
            public List<U8AccountResult> GetAllAccount(string pk_subjescheme, string glorgBookCode)
            {
                var pageNo = "1";
                var list = new List<U8AccountResult>();
                var response = QueryAccount(pk_subjescheme, pageNo, glorgBookCode);
                if (response != null && response.status == "success" && response.data != null)
                {
                    var result = JsonConvert.DeserializeObject<AccountQueryResult>(response.data);
                    var allCount = Math.Ceiling(Convert.ToDouble(result.allcount) / result.retcount);
                    if (allCount >= 1)
                    {
                        for (int i = 1; i <= allCount; i++)
                        {
                            var resultList = GetAccountQueryResult(pk_subjescheme, i.ToString(), glorgBookCode);
                            list.AddRange(resultList);
                        }
                    }
                }
                return list;
            }
    

    allCount為總條數,retCount為當次請求的分頁條數,默認最大值為100,即接口每次只能返回100條數據,超過100條的數據量,我們就要採用分頁的形式來獲取了。

    這裏,有兩個隱藏的坑需要注意一下

    1.如果沒有打過類似“patch_會計科目查詢api查詢條件增加會計主體賬簿編碼”這樣的補丁,我們無法傳入會計主體賬簿編碼,就默認返回該集團下所有公司的會計科目,這樣顯然達不到我們的目的。

    2.返回的會計科目中沒有輔助核算明細,這對於我們傳輸憑證也是有影響的。所以這兩個補丁,如果我們在對接的過程中發現有接口有問題,那麼就要聯繫總部的老師幫忙打相應的補丁了.

    2.4 總賬

    總賬模塊,主要是我們的憑證傳輸了.

    我們先來看憑證的保存,憑證保存要傳入相應的憑證json串.

            public GL_VoucherInsertResponse InsertVoucher(List<object> models)
            {
                var request = new GL_VoucherInsertRequest();
                var pms = new Dictionary<string, object>();
                pms.Add("voucher", models);
                request.SetPostParameters(pms);
                return _Client.Excute(request);
            }
    ///憑證新增結果
            public List<U8GLVoucherResult> GetVoucherInsertResult(List<object> models)
            {
                var list = new List<U8GLVoucherResult>();
                var response = InsertVoucher(models);
                if (response != null && response.status == "success")
                {
                    if (response.data != null && !response.data.IsNullOrEmpty())
                    {
                        var result = JsonConvert.DeserializeObject<List<VoucherResult>>(response.data);
                        list = result.Select(x => new U8GLVoucherResult
                        {
                            explanation = x.explanation,
                            glorgbook_code = x.glorgbook_code,
                            glorgbook_name = x.glorgbook_name,
                            no = x.no,
                            pk_glorgbook = x.pk_glorgbook,
                            pk_voucher = x.pk_voucher,
                            totalcredit = x.totalcredit,
                            totaldebit = x.totaldebit,
                            pk_vouchertype = x.pk_vouchertype,
                            vouchertype_code = x.vouchertype_code,
                            vouchertype_name = x.vouchertype_name,
                            prepareddate = Convert.ToDateTime(x.prepareddate),
                            errorMsg = ""
                        }).ToList();
                    }
                }
                else
                {
                    list.Add(new U8GLVoucherResult { errorMsg = response.errormsg });
                }
                return list;
            }
    

    借貸方,憑證字主要用於我們新增后回執進行憑證記錄的.

    接着我們來看憑證保存的實體類.

     public class U8VoucherModel
        {
            /// <summary>
            /// 是否差異憑證
            /// </summary>
            public bool ISDIFFLAG { get; set; }
            /// <summary>
            /// 附單據數
            /// </summary>
            public string attachment { get; set; }
            public Detail[] details { get; set; }
            /// <summary>
            /// 憑證摘要
            /// </summary>
            public string explanation { get; set; }
            /// <summary>
            /// 憑證號
            /// </summary>
            public string no { get; set; }
            /// <summary>
            /// 公司
            /// </summary>
            public string pk_corp { get; set; }
            /// <summary>
            /// 賬簿
            /// </summary>
            public string pk_glorgbook { get; set; }
            /// <summary>
            /// 制單人編碼
            /// </summary>
            public string pk_prepared { get; set; }
            /// <summary>
            /// 憑證類別簡稱
            /// </summary>
            public string pk_vouchertype { get; set; }
            /// <summary>
            /// 制單日期
            /// </summary>
            public string prepareddate { get; set; }
            /// <summary>
            /// 憑證類型
            /// </summary>
            public int voucherkind { get; set; }
        }
    
        public class Detail
        {
            /// <summary>
            /// 原幣貸方金額
            /// </summary>
            public string creditamount { get; set; }
            /// <summary>
            /// 貸方數量
            /// </summary>
            public string creditquantity { get; set; }
            /// <summary>
            /// 原幣借方金額
            /// </summary>
            public string debitamount { get; set; }
            /// <summary>
            /// 借方數量
            /// </summary>
            public string debitquantity { get; set; }
            /// <summary>
            /// 分錄號
            /// </summary>
            public string detailindex { get; set; }
            /// <summary>
            /// 匯率
            /// </summary>
            public string excrate1 { get; set; }
            /// <summary>
            /// 摘要
            /// </summary>
            public string explanation { get; set; }
            /// <summary>
            /// 本幣貸方金額
            /// </summary>
            public string localcreditamount { get; set; }
            /// <summary>
            /// 本幣借方金額
            /// </summary>
            public string localdebitamount { get; set; }
            /// <summary>
            /// 科目
            /// </summary>
            public string pk_accsubj { get; set; }
            /// <summary>
            /// 幣別編碼
            /// </summary>
            public string pk_currtype { get; set; }
            /// <summary>
            /// 單價
            /// </summary>
            public string price { get; set; }
            public Ass[] ass { get; set; }
            public Cashflow[] cashflow { get; set; }
        }
    
        public class Ass
        {
            /// <summary>
            /// 輔助核算類型編碼
            /// </summary>
            public string checktypecode { get; set; }
            /// <summary>
            /// 輔助核算值編碼
            /// </summary>
            public string checkvaluecode { get; set; }
        }
    
        public class Cashflow
        {
            public string cashflow_code { get; set; }
            public string currtype_code { get; set; }
            public int money { get; set; }
        }
    

    整個憑證對接下來,其實坑不是很多,主要在於前期接口文檔的研究,參數的獲取以及測試接口連通性上面.

    三.結束語

    希望文章能在你開發API接口對接的路上一些幫助和解疑,也希望同樣做API對接的小夥伴,我們可以多多交流。祝你在開發的道路上勇往直前。

    我是程序猿貝塔,一個分享自己對接過財務系統API經歷和生活感悟的程序員。

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※別再煩惱如何寫文案,掌握八大原則!

    ※教你寫出一流的銷售文案?

    ※超省錢租車方案

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

  • 被迫重構代碼,這次我幹掉了 if-else

    被迫重構代碼,這次我幹掉了 if-else

    本文收錄在個人博客:www.chengxy-nds.top,技術資源共享,一起進步

    最近公司貌似融到資了!開始發了瘋似的找渠道推廣,現在終於明白為啥前一段大肆的招人了,原來是在下一盤大棋,對員工總的來看是個好事,或許是時候該跟boss提一提漲工資的話題了。

    不過,漲工資還沒下文,隨之而來的卻是一車一車的需求,每天都有新渠道接入,而且每個渠道都要提供個性化支持,開發量陡增。最近都沒什麼時間更文,準點下班都成奢望了!

    由於推廣渠道的激增,而每一個下單來源在下單時都做特殊的邏輯處理,可能每两天就會加一個來源,已經把之前的下單邏輯改的面目全。出於長遠的考慮,我決定對現有的邏輯進行重構,畢竟長痛不如短痛。

    傳統的實現方式

    我們看下邊的偽代碼,大致就是重構前下單邏輯的代碼,由於來源比較少,簡單的做if-else邏輯判斷足以滿足需求。

    現在每種訂單來源的處理邏輯都有幾百行代碼,看着已經比較臃腫,可我愣是遲遲沒動手重構,一方面業務方總像催命鬼一樣的讓你趕工期,想快速實現需求,這樣寫是最快;另一方面是不敢動,面對古董級代碼,還是想求個安穩。

    但這次來源一下子增加幾十個,再用這種方式做已經無法維護了,想象一下那種臃腫的if-else代碼,別說開發想想都頭大!

    public class OrderServiceImpl implements IOrderService {
        @Override
        public String handle(OrderDTO dto) {
            String type = dto.getType();
            if ("1".equals(type)) {
                return "處理普通訂單";
            } else if ("2".equals(type)) {
                return "處理團購訂單";
            } else if ("3".equals(type)) {
                return "處理促銷訂單";
            }
            return null;
        }
    }
    

    策略模式的實現方式

    思來想去基於當前業務場景重構,還是用策略模式比較合適,它是oop中比較著名的設計模式之一,對方法行為的抽象。

    策略模式定義了一個擁有共同行為的算法族,每個算法都被封裝起來,可以互相替換,獨立於客戶端而變化。

    一、策略模式的使用場景:

    • 針對同一問題的多種處理方式,僅僅是具體行為有差別時;
    • 需要安全地封裝多種同一類型的操作時;
    • 同一抽象類有多個子類,而客戶端需要使用if-else 或者 switch-case 來選擇具體子類時。

    這個是用策略模式修改後代碼:

    @Component
    @OrderHandlerType(16)
    public class DispatchModeProcessor extends AbstractHandler{
    
    	@Autowired
    	private OrderStencilledService orderStencilledService;
    	
    	@Override
    	public void handle(OrderBO orderBO) {
    		
    		/**
        	 * 訂單完結廣播通知(1 - 支付完成)
        	 */
        	orderStencilledService.dispatchModeFanout(orderBO);
    		
        	/**
        	 *  SCMS 出庫單
        	 */
        	orderStencilledService.createScmsDeliveryOrder(orderBO.getPayOrderInfoBO().getLocalOrderNo());
    	}
    }
    

    每個訂單來源都有自己單獨的邏輯實現類,而每次需要添加訂單來源,直接新建實現類,修改@OrderHandlerType(16)的數值即可,再也不用去翻又臭又長的if-lese

    不僅如此在分配任務時,每個人負責開發幾種訂單來源邏輯,都可以做到互不干擾,而且很大程度上減少了合併代碼的衝突。

    二、具體的實現過程:

    1、定義註解

    定義一個標識訂單來源的註解@OrderHandlerType

    @Target(ElementType.TYPE)
    @Retention(RetentionPolicy.RUNTIME)
    @Documented
    @Inherited
    public @interface OrderHandlerType {
    	int value() default 0;
    }
    

    2、抽象業務處理器

    向上抽象出來一個具體的業務處理器

    public abstract class AbstractHandler {
    	abstract public void handle(OrderBO orderBO);
    }
    

    3、項目啟動掃描 handler 入口

    @Component
    @SuppressWarnings({"unused","rawtypes"})
    public class HandlerProcessor implements BeanFactoryPostProcessor {
    	
    	private String basePackage = "com.ecej.order.pipeline.processor";
    	
        public static final Logger log = LoggerFactory.getLogger(HandlerProcessor.class);
    	
    	@Override
    	public void postProcessBeanFactory(ConfigurableListableBeanFactory beanFactory) throws BeansException {
    		
    		Map<Integer,Class> map = new HashMap<Integer,Class>();
    		
    		ClassScaner.scan(basePackage, OrderHandlerType.class).forEach(x ->{
    			int type = x.getAnnotation(OrderHandlerType.class).value();
    			map.put(type,x);
    		});
    		
    		beanFactory.registerSingleton(OrderHandlerType.class.getName(), map);
    		
    		log.info("處理器初始化{}", JSONObject.toJSONString(beanFactory.getBean(OrderHandlerType.class.getName())));
    	}
    }
    

    4、掃描需要用到的工具類

    public class ClassScaner {
    	private ResourcePatternResolver resourcePatternResolver = new PathMatchingResourcePatternResolver();
    
    	private final List<TypeFilter> includeFilters = new ArrayList<TypeFilter>();
    
    	private final List<TypeFilter> excludeFilters = new ArrayList<TypeFilter>();
    
    	private MetadataReaderFactory metadataReaderFactory = new CachingMetadataReaderFactory(resourcePatternResolver);
    	
    	/**
    	 * 添加包含的Fiter
    	 * @param includeFilter
    	 */
    	public void addIncludeFilter(TypeFilter includeFilter) {
    		this.includeFilters.add(includeFilter);
    	}
    
    	/**
    	 * 添加排除的Fiter
    	 * @param includeFilter
    	 */
    	public void addExcludeFilter(TypeFilter excludeFilter) {
    		this.excludeFilters.add(excludeFilter);
    	}
    	
    	/**
    	 * 掃描指定的包,獲取包下所有的Class
    	 * @param basePackage 包名
    	 * @param targetTypes 需要指定的目標類型,可以是pojo,可以是註解
    	 * @return Set<Class<?>>
    	 */
    	public static Set<Class<?>> scan(String basePackage,
    			Class<?>... targetTypes) {
    		ClassScaner cs = new ClassScaner();
    		for (Class<?> targetType : targetTypes){
    			if(TypeUtils.isAssignable(Annotation.class, targetType)){
    				cs.addIncludeFilter(new AnnotationTypeFilter((Class<? extends Annotation>) targetType));
    			}else{
    				cs.addIncludeFilter(new AssignableTypeFilter(targetType));
    			}
    		}
    		return cs.doScan(basePackage);
    	}
    	
    	/**
    	 * 掃描指定的包,獲取包下所有的Class
    	 * @param basePackages 包名,多個
    	 * @param targetTypes 需要指定的目標類型,可以是pojo,可以是註解
    	 * @return Set<Class<?>>
    	 */
    	public static Set<Class<?>> scan(String[] basePackages,
    			Class<?>... targetTypes) {
    		ClassScaner cs = new ClassScaner();
    		for (Class<?> targetType : targetTypes){
    			if(TypeUtils.isAssignable(Annotation.class, targetType)){
    				cs.addIncludeFilter(new AnnotationTypeFilter((Class<? extends Annotation>) targetType));
    			}else{
    				cs.addIncludeFilter(new AssignableTypeFilter(targetType));
    			}
    		}
    		Set<Class<?>> classes = new HashSet<Class<?>>();
    		for (String s : basePackages){
    			classes.addAll(cs.doScan(s));
    		}
    		return classes;
    	}
    	
    	/**
    	 * 掃描指定的包,獲取包下所有的Class
    	 * @param basePackages 包名
    	 * @return Set<Class<?>>
    	 */
    	public Set<Class<?>> doScan(String [] basePackages) {
    		Set<Class<?>> classes = new HashSet<Class<?>>();
    		for (String basePackage :basePackages) {
    			classes.addAll(doScan(basePackage));
    		}
    		return classes;
    	}
    	
    	/**
    	 * 掃描指定的包,獲取包下所有的Class
    	 * @param basePackages 包名
    	 * @return Set<Class<?>>
    	 */
    	public Set<Class<?>> doScan(String basePackage) {
    		Set<Class<?>> classes = new HashSet<Class<?>>();
    		try {
    			String packageSearchPath = ResourcePatternResolver.CLASSPATH_ALL_URL_PREFIX
    					+ ClassUtils.convertClassNameToResourcePath(
    							SystemPropertyUtils.resolvePlaceholders(basePackage))+"/**/*.class";
    			Resource[] resources = this.resourcePatternResolver.getResources(packageSearchPath);
    			for (int i = 0; i < resources.length; i++) {
    				Resource resource = resources[i];
    				if (resource.isReadable()) {
    					MetadataReader metadataReader = this.metadataReaderFactory.getMetadataReader(resource);
    					if ((includeFilters.size() == 0 && excludeFilters.size() == 0)|| matches(metadataReader)) {
    						try {
    							classes.add(Class.forName(metadataReader.getClassMetadata().getClassName()));
    						} catch (ClassNotFoundException ignore) {}
    					}
    				}
    			}
    		} catch (IOException ex) {
    			throw new RuntimeException("I/O failure during classpath scanning", ex);
    		}
    		return classes;
    	}
    	
    	/**
    	 * 處理 excludeFilters和includeFilters
    	 * @param metadataReader
    	 * @return boolean
    	 * @throws IOException
    	 */
    	private boolean matches(MetadataReader metadataReader) throws IOException {
    		for (TypeFilter tf : this.excludeFilters) {
    			if (tf.match(metadataReader, this.metadataReaderFactory)) {
    				return false;
    			}
    		}
    		for (TypeFilter tf : this.includeFilters) {
    			if (tf.match(metadataReader, this.metadataReaderFactory)) {
    				return true;
    			}
    		}
    		return false;
    	}
    }
    
    

    5、根據類型實例化抽象類

    
    @Component
    public class HandlerContext {
    
    	@Autowired
    	private ApplicationContext beanFactory;
    
    	public  AbstractHandler getInstance(Integer type){
    		
    		Map<Integer,Class> map = (Map<Integer, Class>) beanFactory.getBean(OrderHandlerType.class.getName());
    		
    		return (AbstractHandler)beanFactory.getBean(map.get(type));
    	}
    	
    }
    

    6、調用入口

    我這裡是在接受到MQ消息時,處理多個訂單來源業務,不同訂單來源路由到不同的業務處理類中。

    
    @Component
    @RabbitListener(queues = "OrderPipelineQueue")
    public class PipelineSubscribe{
     
    	private final Logger LOGGER = LoggerFactory.getLogger(PipelineSubscribe.class);
    	
    	@Autowired
    	private HandlerContext HandlerContext;
    	
    	@Autowired
    	private OrderValidateService orderValidateService;
    	
        @RabbitHandler
        public void subscribeMessage(MessageBean bean){
        	
        	OrderBO orderBO = JSONObject.parseObject(bean.getOrderBO(), OrderBO.class);
        	
        	if(null != orderBO &&CollectionUtils.isNotEmpty(bean.getType()))
        	{
        		for(int value:bean.getType())
        		{
           		 AbstractHandler handler = HandlerContext.getInstance(value);
           		 handler.handle(orderBO);
        		}
    		}
    	}
    }
    

    接收實體 MessageBean 類代碼

    public class MessageBean implements Serializable {
        private static final long serialVersionUID = 5454831432308782668L;
        private String cachKey;
        private List<Integer> type;
        private String orderBO;
    
        public MessageBean(List<Integer> type, String orderBO) {
            this.type = type;
            this.orderBO = orderBO;
        }
    }
    

    以上設計模式方式看着略顯複雜,很些小夥伴提出質疑:“你為了個if-else,弄的如此的麻煩,又是自定義註解,又弄這麼多類不麻煩嗎?” 還有一些小夥伴糾結於性能問題,策略模式的性能可能確實不如if-else

    但我覺得吧增加一點複雜度、犧牲一丟丟性能,換代碼的整潔和可維護性還是值得的。不過,一個人一個想法,怎麼選還是看具體業務場景吧!

    策略模式的優缺點

    優點

    • 易於擴展,增加一個新的策略只需要添加一個具體的策略類即可,基本不需要改變原有的代碼,符合開放封閉原則
    • 避免使用多重條件選擇語句,充分體現面向對象設計思想 策略類之間可以自由切換,由於策略類都實現同一個接口,所以使它們之間可以自由切換
    • 每個策略類使用一個策略類,符合單一職責原則 客戶端與策略算法解耦,兩者都依賴於抽象策略接口,符合依賴反轉原則
    • 客戶端不需要知道都有哪些策略類,符合最小知識原則

    缺點

    • 策略模式,當策略算法太多時,會造成很多的策略類
    • 客戶端不知道有哪些策略類,不能決定使用哪個策略類,這點可以通過封裝common公共包解決,也可以考慮使IOC容器依賴注入的方式來解決。

    以下是訂單來源策略類的一部分,不得不說策略類確實比較多。

    總結

    凡事都有他的兩面性,if-else多層嵌套和也都有其各自的優缺點:

    • if-else的優點就是簡單,想快速迭代功能,邏輯嵌套少且不會持續增加,if-else更好些,缺點也是顯而易見,代碼臃腫繁瑣不便於維護。

    • 策略模式 將各個場景的邏輯剝離出來維護,同一抽象類有多個子類,需要使用if-else 或者 switch-case 來選擇具體子類時,建議選策略模式,他的缺點就是會產生比較多的策略類文件。

    兩種實現方式各有利弊,如何選擇還是要依據具體業務場景,還是那句話設計模式不是為了用而用,一定要用在最合適的位置。

    閑聊

    平常和粉絲私下聊天,好多人對於學設計模式的感受:設計模式背了一大堆,可平常開發還不是成天寫if-else業務邏輯,根本就用不到。

    學設計模式也不是用不到,只是有時候沒有合適它的場景而已,像我們今天說的這種業務場景,用設計模式就可以完美的解決嘛。

    學了N多技術可工作用不到是一種很常見的事情,一個穩定的項目使用一種技術會有諸多考量的,新技術會不會提升系統複雜度?它有哪些性能瓶頸?這些都必須考慮到,畢竟項目穩定才是最重要,誰也不敢輕易冒險嘗試。

    而我們學習技術可不僅為了眼下項目中是否會用到,是要做一個技術積累,做長遠打算,人往高處走,沒點能力可不行。

    原創不易,燃燒秀髮輸出內容,希望你能有一丟丟收穫!

    整理了幾百本各類技術电子書,送給小夥伴們。關公眾號回復【666】自行領取。和一些小夥伴們建了一個技術交流群,一起探討技術、分享技術資料,旨在共同學習進步,如果感興趣就掃碼加入我們吧!

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※別再煩惱如何寫文案,掌握八大原則!

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※超省錢租車方案

    ※教你寫出一流的銷售文案?

    網頁設計最專業,超強功能平台可客製化

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

  • 120行代碼打造.netcore生產力工具-小而美的後台異步組件

    120行代碼打造.netcore生產力工具-小而美的後台異步組件

    相信絕大部分開發者都接觸過用戶註冊的流程,通常情況下大概的流程如下所示:

    1. 接收用戶提交註冊信息
    2. 持久化註冊信息(數據庫+redis)
    3. 發送註冊成功短信(郵件)
    4. 寫操作日誌(可選)

    偽代碼如下:

    public async Task<IActionResult> Reg([FromBody] User user)
    {
        _logger.LogInformation("持久化數據開始");
        await Task.Delay(50);
        _logger.LogInformation("持久化結束");
        _logger.LogInformation("發送短信開始");
        await Task.Delay(100);
        _logger.LogInformation("發送短信結束");
        _logger.LogInformation("操作日誌開始");
        await _logRepository.Insert(new Log { Txt = "註冊日誌" });
        _logger.LogInformation("操作日誌結束");
        return Ok("註冊成功");
    }
    
    

    在以上的代碼中,我使用Task.Delay方法阻塞主線程,用以模擬實際場景中的執行耗時。以上流程應該是包含了絕大部分註冊流程所需要的操作。對於任何開發者來講,以上業務流程沒任何難度,無非是順序的執行各個流程的代碼即可。

    稍微有點開發經驗的應該會將以上的流程進行拆分,但有些人可能就要問了,為什麼要拆分呢?拆分之後的代碼應該怎麼寫呢?下面我們就來簡單聊下如此場景的正確打開方式。

    首先,註冊成功的依據應該是是否成功的將用戶信息持久化(至於是先持久化到數據庫,異或是先寫到redis不在本篇文章討論的範疇),至於發送註冊短信(郵件)以及寫日誌的操作應該不能成為影響註冊是否成功的因素,而發送短信/郵件等相關操作通常情況下也是比較耗時的,所以在對此接口做性能優化時,可優先考慮將短信/郵件以及寫日誌等相關操作與主流程(持久化數據)拆分,使其不阻塞主流程的執行,從而達到提高響應速度的目的。

    知道了為什麼要拆,但具體如何拆分呢?怎樣才能用最少的改動,達到所需的目的呢?

    條條大路通羅馬,所以要達成我們的目的也是有很多方案的,具體選擇哪種方案需要根據具體的業務場景,業務體量等多種因素綜合考慮,下面我將一一介紹分析相關方案。

    在正式介紹可用方案前,筆者想先介紹一種很多新手容易錯誤使用的一種方案(因為筆者就曾經天真的使用過這種錯誤的方案)。

    提到異步,絕大部分.net開發者應該第一想到的就是Task,async,await等,的確,async,await的語法糖簡化了.net開發者異步編程的門檻,減少了很多代碼量。通常一個返回Task類型的方法,在被調用時,會在方法的前面加上await,表示需要等待此方法的執行結果,再繼續執行後面的代碼。但如果不加await時,則不會等待方法的執行結果,進而也不會阻塞主線程。所以,有些人可能就會將發送短信/郵件以及寫日誌的操作如下方式進行改造。

    public async Task<IActionResult> Reg1([FromBody] User user)
    {
        _logger.LogInformation("持久化數據開始");
        await Task.Delay(50);
        _logger.LogInformation("持久化結束");
        _ = Task.Run(async () =>
         {
             _logger.LogInformation("發送短信開始");
             await Task.Delay(100);
             _logger.LogInformation("發送短信結束");
             _logger.LogInformation("操作日誌開始");
             await _logRepository.Insert(new Log { Txt = "註冊日誌" });
             _logger.LogInformation("操作日誌結束");
         });
        return Ok("註冊成功");
    }
    

    然後使用jmeter分別壓測改造前和改造后的接口,結果如下:

    有沒有被驚訝到?就這樣一個簡單的改造,吞吐量就提高了三四倍。既然已經提高了三四倍,那為什麼說這是一種錯誤的改造方法嗎?各位看官且往下看。

    熟悉.netcore的大佬,應該都知道.netcore的依賴注入的生命周期吧。通常情況下,注入的生命周期包括:Singleton,Scope,Transient。
    在以上的流程中,假如寫操作日誌的實例的生命周期是Scope,當在Task中調用Controller獲取到的實例的方法時,因為Task.Run並沒有阻塞主線程,當調用Action return后,當前請求的scope注入的對象會被回收,如果對象被回收之後,Task.Run還未執行完,則會報System.ObjectDisposedException: Cannot access a disposed object. 異常。意思是,不能訪問一個已disposed的對象。正確的做法是使用IServiceScopeFactory創建一個新的作用域,在新的作用域中獲取獲取日誌倉儲服務的實例。這樣就可以避免System.ObjectDisposedException異常了。
    改造后的示例代碼如下:

    public async Task<IActionResult> Reg1([FromBody] User user)
    {
        _logger.LogInformation("持久化數據開始");
        await Task.Delay(50);
        _logger.LogInformation("持久化結束");
        _ = Task.Run(async () =>
        {
            using (var scope = _scopeFactory.CreateScope())
            {
                var sp = scope.ServiceProvider;
                var logRepository = sp.GetService<ILogRepository>();
                _logger.LogInformation("發送短信開始");
                await Task.Delay(100);
                _logger.LogInformation("發送短信結束");
    
                _logger.LogInformation("操作日誌開始");
                await logRepository.Insert(new Log { Txt = "註冊日誌" });
                _logger.LogInformation("操作日誌結束");
            }
        });
        return Ok("註冊成功");
    }
    

    雖然得到了正解,但上述的代碼着實有點多,如果一個項目有多個相似的業務場景,就要考慮對CreateScope相關的操作進行封裝。

    下面就來一一介紹下筆者覺得實現此業務場景的幾種方案。
    1.消息隊列
    2.Quartz任務調度組件
    3.Hangfire任務調度組件
    4.Weshare.TransferJob(推薦)
    首先說下消息隊列的方式。準確的說,消息隊列應該是這種場景的最優解決方案,消息隊列的其中一個比較重要的特性就是解耦,從而提高吞吐量。但並不是所有的應用程序都需要上消息隊列。有些業務場景使用消息隊列時,往往會給人一種”殺雞用牛刀”的感覺。

    其次Quartz和Hangfire都是任務調度框架,都提供了可實現以上業務場景的邏輯,但Quartz和Hangfire都需要持久化作業數據。雖然Hangfire提供了內存版本,但經過我的測試,發現Hangfire的內存版本特別消耗內存,所以不太推薦使用任務調度框架來實現類似於這樣的業務邏輯。

    最後,也就是本文的重點,筆者結合了消息隊列和任務調度的思想,實現了一個輕量級的轉移作業到後台執行的組件。此組件完美的解決了Scope生命周期實例獲取的問題,一行代碼將不需要等待的操作轉移到後台線程執行。
    接入步驟如下:
    1.使用nuget安裝Weshare.TransferJob
    2.在Stratup中注入服務。

    services.AddTransferJob();
    

    3.通過構造函數或其他方法獲取到IBackgroundRunService的實例。
    4.調用實例的Transfer方法將作業轉移到後台線程。

    _backgroundRunService.Transfer(log=>log.Insert(new Log(){Txt = "註冊日誌"}));
    

    就是這麼簡單的實現了這樣的業務場景,不僅簡化了代碼,而且大大提高了系統的吞吐量。

    下面再來一起分析下Weshare.TransferJob的核心代碼(畢竟文章要點題)。各位器宇不凡的看官請繼續往下看。
    下面的代碼是AddTransferJob方法的實現:

    public static IServiceCollection AddTransferJob(this IServiceCollection services)
    {
        services.AddSingleton<IBackgroundRunService, BackgroundRunService>();
        services.AddHostedService<TransferJobHostedService>();
        return services;
    }
    

    聰明”絕頂”的各位看官應該已經發現上述代碼的關鍵所在。是的, 你沒有看錯,此組件的就是利用.net core提供的HostedService在後台執行被轉移的作業的。
    我們再來一起看看TransferJobHostedService的代碼:

    public class TransferJobHostedService:BackgroundService
    {
        private IBackgroundRunService _runService;
        public TransferJobHostedService(IBackgroundRunService runService)
        {
            _runService = runService;
        }
        protected override async Task ExecuteAsync(CancellationToken stoppingToken)
        {
            while (!stoppingToken.IsCancellationRequested)
            {
                await _runService.Execute(stoppingToken);
            }
        }
    }
    

    這個類的代碼也很簡單,重寫了BackgroundService類的ExecuteAsync,循環調用IBackgroundRunService實例的Execute方法。所以,最最關鍵的代碼是IBackgroundRunService的實現類中。
    詳細代碼如下:

    public class BackgroundRunService : IBackgroundRunService
    {
        private readonly SemaphoreSlim _slim;
        private readonly ConcurrentQueue<LambdaExpression> queue;
        private ILogger<BackgroundRunService> _logger;
        private readonly IServiceProvider _serviceProvider;
        public BackgroundRunService(ILogger<BackgroundRunService> logger, IServiceProvider serviceProvider)
        {
            _slim = new SemaphoreSlim(1);
            _logger = logger;
            _serviceProvider = serviceProvider;
            queue = new ConcurrentQueue<LambdaExpression>();
        }
        public async Task Execute(CancellationToken cancellationToken)
        {
            try
            {
                await _slim.WaitAsync(cancellationToken);
                if (queue.TryDequeue(out var job))
                {
                    using (var scope = _serviceProvider.GetRequiredService<IServiceScopeFactory>().CreateScope())
                    {
                        var action = job.Compile();
                        var isTask = action.Method.ReturnType == typeof(Task);
                        var parameters = job.Parameters;
                        var pars = new List<object>();
                        if (parameters.Any())
                        {
                            var type = parameters[0].Type;
                            var param = scope.ServiceProvider.GetRequiredService(type);
                            pars.Add(param);
                        }
                        if (isTask)
                        {
                            await (Task)action.DynamicInvoke(pars.ToArray());
                        }
                        else
                        {
                            action.DynamicInvoke(pars.ToArray());
                        }
                    }
                }
            }
            catch (Exception e)
            {
                _logger.LogError(e.ToString());
            }
        }
        public void Transfer<T>(Expression<Func<T, Task>> expression)
        {
            queue.Enqueue(expression);
            _slim.Release();
        }
        public void Transfer(Expression<Action> expression)
        {
            queue.Enqueue(expression);
            _slim.Release();
        }
    }
    

    納尼?嫌代碼多看不懂?那咱們一起來剖析下吧。
    首先,此類有三個較重要的私有變量,對應的類型分別是SemaphoreSlim, ConcurrentQueue ,IServiceProvider。
    其中SemaphoreSlim是為了控制後台作業執行的順序的,在構造函數中初始化了此對象的信號量為1,表示在後台服務的ExecuteAsync方法的循環中每次只能有一個作業執行。
    ConcurrentQueue 的對象是用來存儲被轉移到後台服務執行的作業的邏輯,所以使用LambdaExpression作為隊列的類型。
    IServiceProvider是為了解決依賴注入的生命周期的。

    然後在Execute方法中,第一行代碼如下:

    await _slim.WaitAsync(cancellationToken);
    

    作用是等待一個信號量,當沒有可用的信號量時,會阻塞線程的執行,這樣在後台服務的ExecuteAsync方法的死循環就不會一直執行下去,只有獲取到信號量才會繼續執行。
    當獲取到信號量后,則說明有新的作業等待執行,所以此時則需要從隊列中讀出要執行的LambdaExpression表達式,創建一個新的Scope后,編譯此表達式樹,判斷返回類型,獲取泛型的具體類型,最後獲取到泛型對應的實例,執行對應的方法。

    另外,Transfer方法就是暴露給調用者的方法,用於將表達式樹寫到隊列中,同時釋放信號量。

    到此為止,Weshare.TransferJob的實現原理已分析完畢,由於此組件的原理只是將任務轉移到後台進行執行,所以並不是適合對事務有要求的場景。正如本文開頭所假設的場景,TransferJob最適合的場景還是那些和主操作關聯性較低的、失敗或成功並不會影響業務的正常運行。
    同時,此組件的定位就是小而美,像延遲執行、定時執行的功能在最初的規劃中其實是有的,後來發現這些功能quartz已經有了,所以沒必要重複造這樣的輪子。
    後期會根據使用場景,嘗試加入異常重試機制,以及異常通知回調機制。

    最後,不知道有沒有較真的看官想計算下代碼量是否超過120行。
    為了證明我不是標題黨,現將此組件進行開源,地址是:
    https://github.com/fuluteam/WeShare.TransferJob

    橋豆麻袋,筆者辛苦敲的代碼,難道各位看官想白嫖嗎? 點個贊再走唄。點完贊還有力氣的話,如果git上能點個star的話,那也是最好不過的。小生這廂先行謝過。

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※教你寫出一流的銷售文案?

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※回頭車貨運收費標準

    ※別再煩惱如何寫文案,掌握八大原則!

    ※超省錢租車方案

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!