標籤: 包裝設計

  • 沒了IDE,你的Java項目還能Run起來嗎~

    沒了IDE,你的Java項目還能Run起來嗎~

    計算機只能識別機器碼0101…編程語言->能執行的機器碼 需要經過 預處理->編譯->彙編->鏈接->機器碼過程。一個語言處理系統的示意圖如下:

    編譯器 是將源語言程序一次性翻譯成一個等價的,用目標語言編寫的程序。還存在另一種常見的語言處理器,解釋器:它是逐個語句的執行源語言程序。由一個編譯器產生的目標語言程序通常比一個解釋器快,但解釋器的錯誤診斷效果通常更好。

    Java語言處理器結合了編譯和解釋的過程。一個.Java源程序首先被編譯為.class字節碼文件,被加載到虛擬機中,然後由虛擬機將字節碼翻譯成機器碼。

    虛擬機的好處在於:一旦一個程序被轉換成 Java 字節碼,那麼它便可以在不同平台上的虛擬機實現里運行。實現一次編寫,到處運行。另外一個好處是它帶來了一個託管環境。這個託管環境能夠代替我們處理一些代碼中冗長而且容易出錯的部分,如自動內存管理與垃圾回收。

    在Hotspot中,虛擬機翻譯字節碼有兩種方式:

    1.解釋執行
    即逐條將字節碼翻譯成機器碼並執行。

    2.即時編譯
    即將一個方法中包含的所有字節碼編譯成機器碼后再執行。

    前者的優勢在於無需等待編譯,而後者的優勢在於實際運行速度更快。HotSpot 默認採用混合模式,綜合了解釋執行和即時編譯兩者的優點。它會先解釋執行字節碼,而後將其中反覆執行的熱點代碼,以方法為單位進行即時編譯。

    即時編譯建立在程序符合二八定律的假設上,也就是百分之二十的代碼佔據了百分之八十的計算資源。

    好了,裝X結束。

    阿姨知道的編譯知識全在上面了。。(っ╥╯﹏╰╥c)

    如題,下面我們來看一下讓Java項目運行起來我們能做什麼。

    我們能做的很簡單,當然不是寫虛擬機。我們只需要:

    1.執行command javac,將.Java文件變為.class文件。
    2.執行command java,讓.class文件運行起來。

    也就是 執行command :)

    Java程序的運行方式

    Java程序可以通過java命令運行.class文件運行可執行Jar文件
    我們先看第一種方式:從Hello World開始。

    運行.class文件

    Step1:編寫Java文件

    Step2:執行 command javac

    將.Java文件變為.class文件

    小貼士:class文件的全路徑名是包名目錄+ 類文件名。

    Step3:執行 command java

    運行.class文件

    神奇,我們沒有用IDE讓Java程序運行起來了 :)

    小夥伴先別噴老阿姨,哪特么有這麼簡單的Java項目啊。。我們工作中用的明明都是Jar文件啊…
    Jar文件咋運行啊!!

    運行可執行Jar文件

    Jar文件是基於ZIP文件格式的一種文件格式,它將大量的Java類文件、相關的元數據和資源(文本、圖片等)文件聚合到一個Jar文件中,此外還包含一個可選的META-INF文件夾。這個文件夾下的文件或文件夾主要用來打包和擴展配置信息,包括安全,版本,擴展程序和服務等。如MANIFEST.MF文件定義了擴展和打包的相關數據信息。
    一個Jar文件通常在項目中用作第三方類庫使用,也是項目構建的一部分。

    生成一個Jar文件大致分為兩步:

    1.將源文件編譯為.class文件

    2.通過 command jar命令將.class文件,資源文件等等打成一個文件格式的Jar文件。

    我們以一個SbDemo項目為例來看Jar文件的打包和運行。項目目錄結構如下:

    Test2.java中調用了Test1.java的方法,

    我們需要先將Test1.java編譯並打成一個Test1.jar文件,然後通過Test1.jar將Test2.java編譯並打成一個可執行的Test2.jar文件

    可執行和不可執行的Jar文件 區別在於是否在Jar文件中指定了main方法的入口,我們後面再看。

    Step1:Test1.java的編譯

    Step2:將編譯后的classes/com/Test1.class文件打成一個Test1.jar包

    Java中和jar包相關的命令是jar命令,生成一個jar包我們需要定義信息文件(manifest-file),它可以定義所生成jar包的classpath類搜索路徑,jar包的入口類等等。可以理解為與Jar包相關的元數據配置信息
    Step2.1 書寫信息文件
    這裏我們使用resources/manifest-test1.text文件作為信息文件

    是的,Test1.java太簡單了,就是打成一個可被他人引用的jar包,信息文件不重要。
    Step2.2 執行打包命令

    Step3. 編譯Test2.java文件
    因為Test2.java中引用了com.Test1類,所以我們需要在編譯時指定Classpath路徑。
    Classpath:顧名思義,是指待編譯類依賴的類所在路徑位置。我們可以通過 javac 的 -cp 參數指定。
    關於編譯時classpath的值優先級如下:

    • 如果沒有傳入classpath參數,將使用環境變量CLASSPATH的值。(小夥伴不知道環境變量咋查看和設置?去看阿姨的上一篇文章:)
    • 如果沒有發現環境變量CLASSPATH,將使用 執行命令的當前文件夾(.)。
    • 如果javac命令行 通過-classpath or -cp參數指定了類路徑值,則優先級最高。

    這裏我們使用-cp指定Test1.jar所在位置

    可以看到classes目錄下已經生成了com2/Test2.class文件了。

    Step4. 將編譯后的Test2.class和它依賴的Test1.jar一起打成一個可執行的Jar包
    Step4.1 書寫信息文件
    這時候我們使用信息文件resources/manifest-test2.text文件指定這些信息

    Step4.2 執行Jar包生成命令

    可以看到在lib目錄下生成了Test2.jar

    Step5.運行我們的可執行Jar

    大功告成了,我們的SbDemo項目Run起來了…

    當然實際項目不可能人肉編譯,打包。我們需要通過Maven/Gradle等構建工具,幫助我們管理代碼之間的Jar包依賴,構建,部署…我們可能大多時候通過點一下IDE就託管了Maven的構建部署命令。

    拿Maven舉例子,Maven首先定義了一套項目結構,我們按照它的結構書寫代碼,引入各個模塊所需要的Jar包依賴。然後Maven可以通過自己的生命周期管理項目的清理,構建,打包,部署階段。每個階段有對應的Maven插件執行相應的目標。IDE又整合了Maven,使我們通過點吧點吧按鈕就完成了項目的運行。

    但是當一個項目並沒有按照規範的構建工具結構搭建,或者項目沒有成功運行報錯時,了解Java實際的編譯運行過程會對理解、解決這類問題有所幫助。

    好啦,限於篇幅,阿姨先不講這些年Maven躺過的坑了,有想看的嗎?關注,在看,轉發三連回應下 >-<

    參考資料:
    [1].《編譯原理》序 (゚´ω`゚)゚
    [2].https://time.geekbang.org/column/article/11289

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※別再煩惱如何寫文案,掌握八大原則!

    ※教你寫出一流的銷售文案?

    ※超省錢租車方案

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

    ※回頭車貨運收費標準

  • 【asp.net core 系列】8 實戰之 利用 EF Core 完成數據操作層的實現

    【asp.net core 系列】8 實戰之 利用 EF Core 完成數據操作層的實現

    0. 前言

    通過前兩篇,我們創建了一個項目,並規定了一個基本的數據層訪問接口。這一篇,我們將以EF Core為例演示一下數據層訪問接口如何實現,以及實現中需要注意的地方。

    1. 添加EF Core

    先在數據層實現層引入 EF Core:

    cd Domain.Implements
    dotnet add package Microsoft.EntityFrameworkCore
    

    當前項目以SqlLite為例,所以再添加一個SqlLite數據庫驅動:

    dotnet add package Microsoft.EntityFrameworkCore.SQLite
    

    刪除 Domain.Implements 里默認的Class1.cs 文件,然後添加Insfrastructure目錄,創建一個 DefaultContext:

    using Microsoft.EntityFrameworkCore;
    
    namespace Domain.Implements.Insfrastructure
    {
        public class DefaultContext : DbContext
        {
            private string ConnectStr { get; }
            public DefaultContext(string connectStr)
            {
                ConnectStr = connectStr;
            }
    
            protected override void OnConfiguring(DbContextOptionsBuilder optionsBuilder)
            {
                optionsBuilder.UseSqlite(ConnectStr);//如果需要別的數據庫,在這裏進行修改
            }
        }
    }
    

    2. EF Core 批量加載模型

    通常情況下,在使用ORM的時候,我們不希望過度的使用特性來標註實體類。因為如果後期需要變更ORM或者出現其他變動的時候,使用特性來標註實體類的話,會導致遷移變得複雜。而且大部分ORM框架的特性都依賴於框架本身,並非是統一的特性結構,這樣就會造成一個後果:本來應該是對調用方隱藏的實現就會被公開,而且在項目引用關係中容易出現循環引用。

    所以,我在開發中會尋找是否支持配置類,如果使用配置類或者在ORM框架中設置映射關係,那麼就可以保證數據層的純凈,也能實現對調用方隱藏實現。

    EF Core的配置類我們在《C# 數據訪問系列》中關於EF的文章中介紹過,這裏就不做過多介紹了(沒來得及看的小夥伴們不着急,後續會有一個簡單版的介紹)。

    通常情況下,配置類我也會放在Domain.Implements項目中。現在我給大家介紹一下如何快速批量加載配置類:

    protected override void OnModelCreating(ModelBuilder modelBuilder)
    {
        modelBuilder.ApplyConfigurationsFromAssembly(Assembly.GetAssembly(this.GetType()),
    		t => t.GetInterfaces().Any(i => t.Name.Contains("IEntityTypeConfiguration")));
    }
    

    現在版本的EF Core支持通過Assembly加載配置類,可以指定加載當前上下文類所在的Assembly,然後篩選實現接口中包含IEntityTypeConfiguration的類即可。

    3. 使用EF Core實現數據操作

    我們已經創建好了一個EF Context,那麼現在就帶領大家一起看一下,如何使用EF來實現 上一篇《「asp.net core」7 實戰之 數據訪問層定義》中介紹的數據訪問接口:

    新建一個BaseRepository類,在Domain.Implements項目的Insfrastructure 目錄下:

    using Domain.Infrastructure;
    using Microsoft.EntityFrameworkCore;
    
    namespace Domain.Implements.Insfrastructure
    {
        public abstract class BaseRepository<T> : ISearchRepository<T>, IModifyRepository<T> where T : class
        {
            public DbContext Context { get; }
            protected BaseRepository(DbContext context)
            {
                Context = context;
            }
        }
    }
    

    先創建以上內容,這裏給Repository傳參的時候,使用的是EFCore的默認Context類不是我們自己定義的。這是我個人習慣,實際上並沒有其他影響。主要是為了對實現類隱藏具體的EF 上下文實現類。

    在實現各接口方法之前,創建如下屬性:

    public DbSet<T> Set { get => Context.Set<T>(); }
    

    這是EF操作數據的核心所在。

    3.1 實現IModifyRepository接口

    先實現修改接口:

    public T Insert(T entity)
    {   
        return Set.Add(entity).Entity;
    }
    
    public void Insert(params T[] entities)
    {
        Set.AddRange(entities);
    }
    
    public void Insert(IEnumerable<T> entities)
    {
        Set.AddRange(entities);
    }
    public void Update(T entity)
    {
        Set.Update(entity);
    }
    
    public void Update(params T[] entities)
    {
        Set.UpdateRange(entities);
    }
    
    public void Delete(T entity)
    {
        Set.Remove(entity);
    }
    
    public void Delete(params T[] entities)
    {
        Set.RemoveRange(entities);
    }
    

    在修改接口裡,我預留了幾個方法沒有實現,因為這幾個方法使用EF Core自身可以實現,但實現會比較麻煩,所以這裏藉助一個EF Core的插件:

    dotnet add package Z.EntityFramework.Plus.EFCore
    

    這是一個免費開源的插件,可以直接使用。在Domain.Implements 中添加后,在BaseRepository 中添加如下引用:

    using System.Linq;
    using System.Linq.Expressions;
    

    實現方法:

    public void Update(Expression<Func<T, bool>> predicate, Expression<Func<T, T>> updator)
    {
        Set.Where(predicate).UpdateFromQuery(updator);
    }
    
    public void Delete(Expression<Func<T, bool>> predicate)
    {
        Set.Where(predicate).DeleteFromQuery();
    }
    
    public void DeleteByKey(object key)
    {
        Delete(Set.Find(key));
    }
    
    public void DeleteByKeys(params object[] keys)
    {
        foreach (var k in keys)
        {
            DeleteByKey(k);
        }
    }
    

    這裏根據主鍵刪除的方法有個問題,我們無法根據條件進行刪除,實際上如果約定泛型T是BaseEntity的子類,我們可以獲取到主鍵,但是這樣又會引入另一個泛型,為了避免引入多個泛型根據主鍵的刪除就採用了這種方式。

    3.2 實現ISearchRepository 接口

    獲取數據以及基礎統計接口:

    public T Get(object key)
    {
        return Set.Find(key);
    }
    
    public T Get(Expression<Func<T, bool>> predicate)
    {
        return Set.SingleOrDefault(predicate);
    }
    
    public int Count()
    {
        return Set.Count();
    }
    
    public long LongCount()
    {
        return Set.LongCount();
    }
    
    public int Count(Expression<Func<T, bool>> predicate)
    {
        return Set.Count(predicate);
    }
    
    public long LongCount(Expression<Func<T, bool>> predicate)
    {
        return Set.LongCount(predicate);
    }
    
    public bool IsExists(Expression<Func<T, bool>> predicate)
    {
        return Set.Any(predicate);
    }
    

    這裡有一個需要關注的地方,在使用條件查詢單個數據的時候,我使用了SingleOrDefault而不是FirstOrDefault。這是因為我在這裏做了規定,如果使用條件查詢,調用方應該能預期所使用條件是能查詢出最多一條數據的。不過,這裏可以根據實際業務需要修改方法:

    • Single 返回單個數據,如果數據大於1或者等於0,則拋出異常
    • SingleOrDefault 返回單個數據,如果結果集沒有數據,則返回null,如果多於1,則拋出異常
    • First 返回結果集的第一個元素,如果結果集沒有數據,則拋出異常
    • FirstOrDefault 返回結果集的第一個元素,如果沒有元素則返回null

    實現查詢方法:

    public List<T> Search()
    {
        return Query().ToList();
    }
    
    public List<T> Search(Expression<Func<T, bool>> predicate)
    {
        return Query(predicate).ToList();
    }
    
    public IEnumerable<T> Query()
    {
        return Set;
    }
    
    public IEnumerable<T> Query(Expression<Func<T, bool>> predicate)
    {
        return Set.Where(predicate);
    }
    
    public List<T> Search<P>(Expression<Func<T, bool>> predicate, Expression<Func<T, P>> order)
    {
        return Search(predicate, order, false);
    }
    
    public List<T> Search<P>(Expression<Func<T, bool>> predicate, Expression<Func<T, P>> order, bool isDesc)
    {
        var source = Set.Where(predicate);
        if (isDesc)
        {
            source = source.OrderByDescending(order);
        }
        else
        {
            source = source.OrderBy(order);
        }
        return source.ToList();
    }
    

    這裏我盡量通過調用了參數最多的方法來實現查詢功能,這樣有一個好處,小夥伴們可以想一下哈。當然了,這是我自己覺得這樣會好一點。

    實現分頁:

    在實現分頁之前,我們知道當時我們定義的分頁參數類的排序字段用的是字符串,而不是lambda表達式,而Linq To EF需要一個Lambda表示才可以進行排序。這裏就有兩種方案,可以自己寫一個方法,實現字符串到Lambda表達式的轉換;第二種就是借用三方庫來實現,正好我們之前引用的EF Core增強插件里有這個功能:

    var list = context.Customers.OrderByDescendingDynamic(x => "x.Name").ToList();
    

    這是它給出的示例。

    我們可以先依此來寫一份實現方法:

    public PageModel<T> Search(PageCondition<T> condition)
    {
        var result = new PageModel<T>
        {
            TotalCount = LongCount(condition.Predicate),
            CurrentPage = condition.CurrentPage,
            PerpageSize = condition.PerpageSize,
        };
        var source = Query(condition.Predicate);
        if (condition.Sort.ToUpper().StartsWith("a")) // asc
        {
            source = source.OrderByDynamic(t => $"t.{condition.OrderProperty}");
        }
        else // desc
        {
            source = source.OrderByDescendingDynamic(t => $"t.{condition.OrderProperty}");
        }
        var items = source.Skip((condition.CurrentPage -1)* condition.PerpageSize).Take(condition.PerpageSize);
        result.Items = items.ToList();
        return result;
    }
    

    回到第一種方案:

    我們需要手動寫一個字符串的處理方法,先在Utils項目創建以下目錄:Extend>Lambda,並在目錄中添加一個ExtLinq類,代碼如下:

    using System.Linq;
    using System.Linq.Expressions;
    using System.Text.RegularExpressions;
    
    namespace Utils.Extend.Lambda
    {
        public static class ExtLinq
        {
            public static IQueryable<T> CreateOrderExpression<T>(this IQueryable<T> source, string orderBy, string orderAsc)
            {
                if (string.IsNullOrEmpty(orderBy)|| string.IsNullOrEmpty(orderAsc)) return source;
                var isAsc = orderAsc.ToLower() == "asc";
                var _order = orderBy.Split(',');
                MethodCallExpression resultExp = null;
                foreach (var item in _order)
                {
                    var orderPart = item;
                    orderPart = Regex.Replace(orderPart, @"\s+", " ");
                    var orderArry = orderPart.Split(' ');
                    var orderField = orderArry[0];
                    if (orderArry.Length == 2)
                    {
                        isAsc = orderArry[1].ToUpper() == "ASC";
                    }
                    var parameter = Expression.Parameter(typeof(T), "t");
                    var property = typeof(T).GetProperty(orderField);
                    var propertyAccess = Expression.MakeMemberAccess(parameter, property);
                    var orderByExp = Expression.Lambda(propertyAccess, parameter);
                    resultExp = Expression.Call(typeof(Queryable), isAsc ? "OrderBy" : "OrderByDescending",
                        new[] {typeof(T), property.PropertyType},
                        source.Expression, Expression.Quote(orderByExp));
                }
    
                return resultExp == null
                    ? source
                    : source.Provider.CreateQuery<T>(resultExp);
            }
        }
    }
    

    暫時不用關心為什麼這樣寫,後續會為大家分析的。

    然後回過頭來再實現我們的分頁,先添加Utils 到Domain.Implements項目中

    cd ../Domain.Implements # 進入Domain.Implements 項目目錄
    dotnet add reference ../Utils
    
    public PageModel<T> Search(PageCondition<T> condition)
    {
        var result = new PageModel<T>
        {
            TotalCount = LongCount(condition.Predicate),
            CurrentPage = condition.CurrentPage,
            PerpageSize = condition.PerpageSize,
        };
        var source = Set.Where(condition.Predicate).CreateOrderExpression(condition.OrderProperty, condition.Sort);
        var items = source.Skip((condition.CurrentPage -1)* condition.PerpageSize).Take(condition.PerpageSize);
        result.Items = items.ToList();
        return result;
    }
    

    記得添加引用:

    using Utils.Extend.Lambda;
    

    在做分頁的時候,因為前台傳入的參數大多都是字符串的排序字段,所以到後端需要進程字符串到字段的處理。這裏的處理利用了C# Expression的一個技術,這裏就不做過多介紹了。後續在.net core高級篇中會有介紹。

    4. 總結

    到目前為止,看起來我們已經成功實現了利用EF Core為我們達成 數據操作和查詢的目的。但是,別忘了EF Core需要手動調用一個SaveChanges方法。下一篇,我們將為大家介紹如何優雅的執行SaveChanges方法。

    這一篇介紹到這裏,雖然說明不是很多,但是這也是我在開發中總結的經驗。

    更多內容煩請關注我的博客《高先生小屋》

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※別再煩惱如何寫文案,掌握八大原則!

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※超省錢租車方案

    ※教你寫出一流的銷售文案?

    網頁設計最專業,超強功能平台可客製化

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

    台中搬家遵守搬運三大原則,讓您的家具不再被破壞!

  • Python 3.9 beta2 版本發布了,看看這 7 個新的 PEP 都是什麼?

    原作:Jake Edge

    譯者:豌豆花下貓@Python貓

    英文:https://lwn.net/Articles/819853/

    隨着 Python 3.9.0b1 的發布,即開發周期中計劃的四個 beta 版本的首個,Python 3.9 的功能已經是完善了。在 10 月發布最終版本之前,還會有許多測試和穩定性方面的工作要做。

    (譯註:beta1 版本發佈於 5 月 18 日,作者文章寫於 5 月 20,而到本篇譯文發布時,beta2 剛好在今天即 6 月 9 日發布,這是一個巧合!)

    該發布說明中列出了被 3.9 接受的 7 個 Python 增強提案(PEP)。我們研究了其中的一些 PEP,看到有一些更新。現在似乎是一個介紹 Python 3.9 帶來的一些東西的好時機。

    1、字符串操作

    有時最簡單(表明上的)的事情最困難,或者至少會引起巨大的討論。其中大部分的爭議是關於命名(還能是什麼?),但是給標準字符串對象添加函數,來刪除前綴和後綴,這種想法是毫無爭議的。

    是否可以將那些詞綴(前綴和後綴的統稱)指定為序列,以便在一次調用中處理多個詞綴,這一點尚不明確,最後它被從提案中刪除了,等待着其他人再次推動更改。

    在 3 月底,Dennis Sweeney 在 python-dev 郵件列表上請求核心開發者支持 PEP 616(“字符串刪除前綴和後綴的方法”)。他指出了自 2019 年 3 月以來關於該話題的 python-ideas 討論。埃里克·史密斯(Eric V. Smith)同意支持該 PEP,這促使 Sweeney 發布並啟動了討論。

    在最初版本中,他使用 cutprefix() 和 cutsuffix() 作為要添加給字符串對象的方法名。四種類型的 Python 對象將獲得新的方法:str(Unicode 字符串),byte(二進制序列),bytearray(可變的二進制序列)和 collections.UserString(字符串對象的一種封裝)。

    它的寫法如下:

    'abcdef'.cutprefix('abc') # 返回'def'
    'abcdef'.cutsuffix('ef') # 返回'abcd'
    

    針對命名部分,出現了一大堆的建議。基本上很少有人喜歡“cut”,因此“strip”、“strim”和“remove”被提出來了,並且都獲得了一些支持。

    stripprefix() 以及 stripsuffix() 由於 PEP 中指出的一種理由,至少是被部分地反對了;現有的“strip”函數令人困惑,因此應避免重用該名稱。

    str.lstrip() 和 str.rstrip() 方法也用於刪除前導字符和尾隨字符,但是它們對於真正在尋找 cutprefix() 功能的程序員來說是一個困惑的來源。

    *strip() 在調用時接收一個字符串參數,但會將其視為一組字符,並從字符串開頭或結尾消除:

    'abcdef'.lstrip('abc') # 返回“def”,符合預期
    'abcbadefed'.lstrip('abc') # 返回'defed',完全不符合預期
    

    最終,removeprefix() 和 removesuffix() 似乎佔據了上風,這正是 Sweeney 最終改成的版本。Guido van Rossum 也支持這些名字。

    埃里克·法格倫(Eric Fahlgren)這樣搞笑地總結了命名的爭論:

    我認為如果你先寫文檔,則名稱的選擇會更容易些:

    cutprefix – 刪除指定的前綴。

    trimprefix – 刪除指定的前綴。

    stripprefix – 刪除指定的前綴。

    removeprefix – 刪除指定的前綴。廢話

    Sweeney 更新了 PEP,回應了許多評論,但還增加了提議將字符串元組作為詞綴的功能(可以在 PEP GitHub 倉庫中看到該版本)。

    但是史蒂文·達普拉諾(Steven D’Aprano)不確定這樣做是否合理。他指出,唯一接受元組參數的字符串操作是 str.startswith() 和 str.endswith(),而它們不返回字符串(只是一個布爾值)。他懷疑添加這一種接收元組參數卻返回字符串的方法,因為無論選擇何種規則來處理元組,對於某些人來說都是“錯誤的”選擇。

    例如:

    這裏的困難在於,如果兩個或多個前綴都能匹配,則“剪切這些前綴中的一個”的概念是模稜兩可的。對 startwith 沒有區別:

     "extraordinary".startswith(('ex', 'extra'))
    

    因為是從左到右,從最短到最大,甚至是隨機順序匹配都為True。但是對於 cutprefix,應該刪除哪個前綴?

    如他所說,建議的規則是使用從左到右處理元組的第一個匹配字符串,但是有些人可能想要最長的匹配或最後一個匹配;這一切都取決於使用的上下文。他建議在提交添加此類行為之前,要給該功能更多的“浸泡時間”(譯註:即預備時間):“在添加多前綴/後綴的支持之前,我們首先應該對簡單的情況進行一些實際的體驗。”

    伊桑·弗曼(Ethan Furman)同意達普拉諾(D’Aprano)的意見。但是維克托·斯汀納(Victor Stinner)強烈贊成元組參數的想法,只不過,他還想知道當傳入的元組有空字符串時,會怎麼處理。根據 PEP 提議,在處理元組時遇到空字符串(實際上可以匹配任何內容)只會返回原始字符串,這會導致令人驚訝的結果:

    cutsuffix("Hello World", ("", " World"))    # 返回 "Hello World"
    cutsuffix("Hello World", (" World", ""))    # 返回 "Hello"
    

    這個例子不太明顯;詞綴不一定是硬編碼的,因此空字符串可能會溜進意想不到的位置。Stinner 建議如果遇到空字符串,則拋出 ValueError,類似於 str.split()。但是 Sweeney 決定完全刪除元組參數功能,以便“允許對此有更強見解的人在另外的 PEP 中提出並捍衛一系列的語義”。他在 3 月 28 日發布了該 PEP 的最新版本。

    4 月 9 日,Sweeney 發起了一個指導委員會 issue,請求對其 PEP 進行評審。4 月 20 日,Stinner 代表委員會接受了該提案。

    這是一個很小的更改,但值得花時間確保它具有長期適用的接口(和語義)。我們將在 Python 3.9 中看到 removeprefix() 和removesuffix()。

    2、新解析器

    並不令人感到驚訝的是,指導委員會已經接受了我們在 4 月中旬介紹過的 CPython 新解析器。PEP 617(“CPython 新的 PEG 解析器”)由 Python 創始人即前仁慈的獨裁者(BDFL) Guido van Rossum 以及 Pablo Galindo Salgado 和 Lysandros Nikolaou 共同提出。

    它已經運行良好,並且在現有解析器的速度和內存使用方面提升了 10% 以內的性能。由於解析器是基於解析表達語法(PEG),因此也將簡化語言規範。CPython 現有的 LL(1) 解析器存在諸多缺點和一些 hack,新的解析器將會消除掉。

    這一更改為 Python 超越 LL(1) 語法鋪平了道路,儘管現有語言並不完全是 LL(1)。這一更改不會太快,因為計劃是在 Python 3.9 的命令行中提供開關,保持現有解析器可用。

    但是 Python 3.10 將刪除現有的解析器,這可能會導致語言變更。如果做了那些更改,那麼,其它的 Python 實現(例如 PyPy 和 MicroPython)就需要切換解析器的 LL(1) 實現,以便跟上語言規範的要求。這可能會使核心開發者暫停進行此類更改。

    3、更多內容

    我們在三月初查看了 PEP 615(“在標準庫中支持 IANA 時區數據庫”)。它將在標準庫中添加一個zoneinfo 模塊,該模塊將有助於從 IANA 時區數據庫中(也稱為“Olson數據庫”)獲取時區信息,以填充時區對象。在撰寫本文時,它看起來很順利。

    在 3 月底,Paul Ganssle 請求就該 PEP 作出決議。他認為在一個有趣的時間範圍內接受它,可能會很有趣:

    … 我希望(出於異想天開的原因)在 4 月 5 日(星期日)UTC 時間 02:00-04:00 或 13:00-17:30 之間接受它,因為這些時間代表着地球上某些地方的不明確時間(主要在澳大利亞)。還有另一個時機,那就是在 4 月 19 日星期日 UTC 01:00-03:00 之間,這段時間在西撒哈拉是不明確的。

    他意識到這可能難以實現,它當然不是優先考慮的事。指導委員會沒有錯過第二個時間窗太多;Barry Warsaw 於 4 月 20 日宣布接受該 PEP。

    Python 現在將具有一種機制來訪問系統的時區數據庫,以創建和處理時區。另外,Python 軟件包索引(PyPI)中有一個 tzdata 模塊,它為缺少 IANA 數據的系統提供這些數據;它將由 Python 核心開發者維護。

    PEP 593(“靈活的函數和變量註釋”)添加了一種將上下文特定的(context-specific)元數據與函數和變量關聯的方法。實際上,type hint 註解已擠出了很多年前在 Python 3.0 中實現的 PEP 3107(“函數註釋”)中設想的其它用例。PEP 593 使用註解的(Annotated)類型提示為這些用例創建了一種新的機制。

    PEP 585(“標準集合中的類型提示泛型”)提供了另一種清除方法。它將允許刪除在 typing 模塊中維護的一組并行的類型別名,以支持泛型。例如,type.List 類型將不再需要支持諸如“dict[str,list[int]]”之類的註解(例如,一個帶有字符串鍵和整數列表的值的字典)。

    字典“加法”的聯合操作也會是 Python 3.9 的一部分。它曾不時引起爭議,但是 2 月中旬,PEP 584(“給字典添加聯合操作符”)被 Van Rossum 推薦採納。指導委員會迅速同意了,該特性於 2 月 24 日合入。

    最後一個 PEP 是 PEP 602(“Python 的年度發布周期”)。如提案所書,它將發布節奏從每 18 個月更改為每年一次。但是,開發和發布周期是重疊的,因此整個功能開發需要 12 個月的時間。當第一個 Python 3.9 beta 版本發布時(即現在),Python 3.10 的功能開發就開始了。請繼續關注來年的下一輪 PEP。

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※教你寫出一流的銷售文案?

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※回頭車貨運收費標準

    ※別再煩惱如何寫文案,掌握八大原則!

    ※超省錢租車方案

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

    ※推薦台中搬家公司優質服務,可到府估價

  • [原創][開源] SunnyUI.Net 主題

    [原創][開源] SunnyUI.Net 主題

    SunnyUI.Net, 基於 C# .Net WinForm 開源控件庫、工具類庫、擴展類庫、多頁面開發框架

    • Blog: https://www.cnblogs.com/yhuse
    • Gitee: https://gitee.com/yhuse/SunnyUI
    • GitHub: https://github.com/yhuse/SunnyUI
    • 幫助文檔目錄: https://www.cnblogs.com/yhuse/p/SunnyUI_Menu.html
    • 歡迎交流,QQ群:  56829229 (SunnyUI技術交流群) 

    主題

    1、Color 色彩

    SunnyUI為了避免視覺傳達差異,使用一套特定的調色板來規定顏色,為你所搭建的產品提供一致的外觀視覺感受。主要顏色參照Element(https://element.eleme.cn/

    • 主色

    SunnyUI主要品牌顏色是鮮艷、友好的藍色。

    • 輔助色

    除了主色外的場景色,需要在不同的場景中使用(例如紅色表示危險的操作)。

    • 中性色

    中性色用於文本、背景和邊框顏色。通過運用不同的中性色,來表現層次結構。

     

    2、Rect邊框

    我們對邊框進行統一規範,可用於按鈕、卡片、彈窗等組件里。

    主要屬性如下:

    • RectColor:邊框顏色
    • RectDisableColor:控件不可用時邊框顏色
    • RectSides:邊框显示方向
    • 無:不显示邊框
    • 全部:显示全部邊框
    • 頂:显示頂部邊框
    • 底:显示底部邊框
    • 左:显示左側邊框
    • 右:显示右側邊框

    注:邊框显示和圓角設置相關,如果一側的邊框兩端端點為圓角,則此邊框必定显示。

     

    3、Radius圓角

    我們提供了以下幾種圓角樣式,以供選擇。默認圓角大小為5px。

    主要屬性如下:

    Radius:圓角大小

    RadiusSides:显示四個角圓角的显示與否

    • 圓角不显示

    • 默認圓角大小為5px

    • 圓角大小與控件高度相等時,显示大圓角

    • 可通過四個角圓角的設置,對控件組合显示

     

    4、Font字體

    默認字體為:微軟雅黑, 12pt

     

    5、Style主題

    SunnyUI包含 Element 風格主題 11 個,DotNetBar 主題 3 個,其他主題 2 個,包含主題管理組件 UIStyleManager,可自由切換主題。

    •  UIStyleManager

    參考SunnyUI.Demo.exe,將UIStyleManager放置在主窗體上,通過選擇UIStyleManager的屬性Style,或者通過代碼設置統一主題風格。

    UIStyleManager.Style = style;

     

    • Style主要屬性如下:

    Style:設置主題風格

    StyleCustomMode:是否為自定義主題,設置為False時使用UIStyleManager提供的統一主題風格,設置為Ture時可手動調整控件配色,不受UIStyleManager約束。

     

    • UIStyle.Blue

    • UIStyle.Green

    • UIStyle.Orange

    • UIStyle.Red

    • UIStyle.Gray

    • UIStyle.White

    • UIStyle.DarkBlue

    • UIStyle.Black

    • UIStyle.Office2010Blue

    • UIStyle.Office2010Silver

    • UIStyle.Office2010Black

      

    原創文章,轉載請保留鏈接 Sunny’s blog

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※超省錢租車方案

    ※別再煩惱如何寫文案,掌握八大原則!

    ※回頭車貨運收費標準

    ※教你寫出一流的銷售文案?

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    網頁設計最專業,超強功能平台可客製化

  • 一行代碼引來的安全漏洞就讓我們丟失了整個服務器的控制權

    一行代碼引來的安全漏洞就讓我們丟失了整個服務器的控制權

    之前在某廠的某次項目開發中,項目組同學設計和實現了一個“引以為傲”,額,有點擴張,不過自認為還說得過去的 feature,結果臨上線前被啪啪打臉,因為實現過程中因為一行代碼(沒有標題黨,真的是一行代碼)帶來的安全漏洞讓我們丟失了整個服務器控制權(測試環境)。多虧了上線之前有公司安全團隊的人會對代碼進行掃描,才讓這個漏洞被扼殺在搖籃里。

    下面我們就一起來看看這個事故,啊,不對,是故事。

    背景說明

    我們的項目是一個面向全球用戶的 Web 項目,用 SpringBoot 開發。在項目開發過程中,離不開各種異常信息的處理,比如表單提交參數不符合預期,業務邏輯的處理時離不開各種異常信息(例如網絡抖動等)的處理。於是利用 SpringBoot 各種現成的組件支持,設計了一個統一的異常信息處理組件,統一管理各種業務流程中可能出現的錯誤碼和錯誤信息,通過國際化的資源配置文件進行統一輸出給用戶。

    統一錯誤信息配置管理

    我們的用戶遍布全球,為了給各個國家用戶比較好的體驗會進行不同的翻譯。具體而言,實現的效果如下,為了方便理解,以“找回登錄密碼”這樣一個業務場景來進行闡述說明。

    假設找回密碼時,需要用戶輸入手機或者郵箱驗證碼,假設這個時候用戶輸入的驗證碼通過後台數據庫(可能是Redis)對比發現已經過期。在業務代碼中,只需要簡單的 throw new ErrorCodeException(ErrorCodes.AUTHCODE_EXPIRED) 即可。具體而言,針對不同國家地區不同的語言看到的效果不一樣:

    • 中文用戶看到的提示就是“您輸入的驗證碼已過期,請重新獲取”;
    • 歐美用戶看到的效果是“The verification code you input is expired, …”;
    • 德國用戶看到的是:“Der von Ihnen eingegebene Verifizierungscode ist abgelaufen, bitte wiederholen” 。(我瞎找的翻譯,不一定準)
    • ……

    統一錯誤信息配置管理代碼實現

    關鍵信息其實就在於一個 GlobalExceptionHandler,對所有Controller 入口進行 AOP 攔截,根據不同的錯誤信息,獲取相應資源文件配置的 key,並從語言資源文件中讀取不同國家的錯誤翻譯信息。

    @ControllerAdvice
    public class GlobalExceptionHandler {
    
        @ExceptionHandler(BadRequestException.class)
        @ResponseBody
        public ResponseEntity handle(HttpServletRequest request, BadRequestException e){
            String i18message = getI18nMessage(e.getKey(), request);
            return ResponseEntity.status(HttpStatus.BAD_REQUEST).body(Response.error(e.getCode(), i18message));
        }
        
        @ExceptionHandler(ErrorCodeException.class)
        @ResponseBody
        public ResponseEntity handle(HttpServletRequest request, ErrorCodeException e){
            String i18message = getI18nMessage(e.getKey(), request);
            return ResponseEntity.status(HttpStatus.OK).body(Response.error(e.getCode(), i18message));
        }
    }

     

    不同語言的資源文件示例

    private String getI18nMessage(String key, HttpServletRequest request) {
       try {
           return messageSource.getMessage(key, null, LanguaggeUtils.currentLocale(request));
       } catch (Exception e) {
           // log
           return key;
       }
    }

     

    詳細代碼實現可以參考本人之前寫的這篇文章一文教你實現 SpringBoot 中的自定義 Validator 和錯誤信息國際化配置,上面有附完整的代碼實現。

    基於註解的表單校驗(含自定義註解)

    還有一種常見的業務場景就是後端接口需要對用戶提交的表單進行校驗。以“註冊用戶”這樣的場景舉例說明, 註冊用戶時,往往會提交昵稱,性別,郵箱等信息進行註冊,簡單起見,就以這 3 個屬性為例。

    定義的表單如下:

    public class UserRegForm {
     private String nickname;
     private String gender;
     private String email;
    }

     

    對於表單的約束,我們有:

    • 昵稱字段:“nickname” 必填,長度必須是 6 到 20 位;
    • 性別字段:“gender” 可選,如果填了,就必須是“Male/Female/Other/”中的一種。說啥,除了男女還有其他?對,是的。畢竟全球用戶嘛,你去看看非死不可,還有更多。
    • 郵箱: “email”,必填,必須滿足郵箱格式。

    對於以上約束,我們只需要在對應的字段上添加如下註解即可。

    public class UserRegForm {
     @Length(min = 6, max = 20, message = "validate.userRegForm.nickname")
     private String nickname;
    
     @Gender(message="validate.userRegForm.gender")
     private String gender;
    
     @NotNull
     @Email(message="validate.userRegForm.email")
     private String email;
    }

     

    然後在各個語言資源文件中配置好相應的錯誤信息提示即可。其中, @Gender 就是一個自定義的註解。

    基於含自定義註解的表單校驗關鍵代碼

    自定義註解的實現主要的其實就是一個自定義註解的定義以及一個校驗邏輯。 例如定義一個自定義註解 CustomParam

    @Documented
    @Constraint(validatedBy = CustomValidator.class)
    @Target({FIELD, METHOD, PARAMETER, ANNOTATION_TYPE})
    @Retention(RetentionPolicy.RUNTIME)
    public @interface CustomParam {
        String message() default "name.tanglei.www.validator.CustomArray.defaultMessage";
    
        Class<?>[] groups() default {};
        Class<? extends Payload>[] payload() default { };
    
        @Documented
        @Retention(RetentionPolicy.RUNTIME)
        @Target({FIELD, METHOD, PARAMETER, ANNOTATION_TYPE})
        @interface List {
            CustomParam[] value();
        }
    }

     

    校驗邏輯的實現 CustomValidator

    public class CustomValidator implements ConstraintValidator<CustomParam, String> {
        @Override
        public boolean isValid(String s, ConstraintValidatorContext constraintValidatorContext) {
            if (null == s || s.isEmpty()) {
                return true;
            }
            if (s.equals("tanglei")) {
                return true;
            } else {
                error(constraintValidatorContext, "Invalid params: " + s);
                return false;
            }
        }
    
        @Override
        public void initialize(CustomParam constraintAnnotation) {
        }
    
        private static void error(ConstraintValidatorContext context, String message) {
            context.disableDefaultConstraintViolation();
            context.buildConstraintViolationWithTemplate(message).addConstraintViolation();
        }
    }

     

    上面例子只為了闡述說明問題,其中校驗邏輯沒有實際意義,這樣,如果輸入參數不滿足條件,就會明確提示用戶輸入的哪個參數不滿足條件。例如輸入參數 xx,則會直接提示:Invalid params: xx

    這個跟第一部分的處理方式類似,因為現有的 validator 組件實現中,如果違反相應的約束也是一種拋異常的方式實現的,因此只需要在上述的 GlobalExceptionHandler中添加相應的異常信息即可,這裏就不詳述了。 這不是本文的重點,這裏就不詳細闡述了。 詳細代碼實現可以參考本人之前寫的這篇文章一文教你實現 SpringBoot 中的自定義 Validator 和錯誤信息國際化配置,上面有附完整的代碼實現。

    場景重現

    一切都顯得很完美,直到上線前代碼提交至安全團隊掃描,就被“啪啪打臉”,掃描報告反饋了一個嚴重的安全漏洞。而這個安全漏洞,屬於很高危的遠程代碼執行漏洞。

    用前文提到的自定義 Validator,輸入的參數用: “1+1=${1+1}”,看看效果:

    太 TM 神奇了,居然幫我運算出來了,返回 "message": "Invalid params: 1+1=2"

    問題就出現在實現自定義註解進行校驗的這行代碼(如下圖所示):

    其實,最開始的時候,這裏直接返回了“Invalid params”,當初為了更好的用戶體驗,要明確告訴用戶哪個參數沒有通過校驗,因此在輸出的提示上加上了用戶輸入的字段,也就是上面的"Invalid params: " + s,沒想到,這闖了大禍了(回過頭來想,感覺這裏沒必要這麼詳細啊,因為前端已經有相應的校驗了,正常情況下回攔住,針對不守規矩的用非常規手段來的接口請求,直接返回校驗不通過就行了,畢竟不是對外提供的 OpenAPI 服務)。

    仔細看,這個方法實際上是 ConstraintValidatorContext這個接口中聲明的,看方法名字其實能知道輸入參數是一個字符串模板,內部會進行解析替換的(這其實也符合“見名知意”的良好編程習慣)。(教訓:大家應該把握好自己寫的每一行代碼背後實際在做什麼。)

    /* ......
     * @param messageTemplate new un-interpolated constraint message
     * @return returns a constraint violation builder
     */
    ConstraintViolationBuilder buildConstraintViolationWithTemplate(String messageTemplate);

     

    這個 case,源碼調試進去之後,就能跟蹤到執行翻譯階段,在如下方法中: org.hibernate.validator.messageinterpolation.AbstractMessageInterpolator.interpolateMessage

    再往後,就是表達式求值了。

    以為就這樣就完了嗎?

    剛開始感覺,能幫忙算簡單的運算規則也就完了吧,你還能把我怎麼樣?其實這個相當於暴露了一個入口,支持用戶輸入任意 EL 表達式進行執行。網上通過關鍵字 “SpEL表達式注入漏洞” 找找,就能發現事情並沒有想象中那麼簡單。

    我們構造恰當的 EL 表達式(注意各種轉義,下文的輸入參數相對比較明顯在做什麼了,實際上還有更多黑科技,比如各種二進制轉義編碼啊等等),就能直接執行輸入代碼,例如:可以直接執行命令,“ls -al”, 返回了一個 UNIXProcess 實例,命令已經被執行過了。

    比如,我們執行個打開計算器的命令,搞個計算器玩玩~

    我錄製了一個動圖,來個演示可能更生動一些。

    這還得了嗎?這相當於提供了一個 webshell 的功能呀,你看想運行啥命令就能運行啥命令,例如 ping 本人博客地址(ping www.tanglei.name),下面動圖演示一下整個過程(從運行 ping 到 kill ping)。

    我錄製了一個視頻,點擊這裏可以訪問。

    豈不是直接創建一個用戶,然後遠程登錄就可以了。後果很嚴重啊,別人想幹嘛就幹嘛了。

    我們跟蹤下對應的代碼,看看內部實現,就會“恍然大悟”了。

    經驗教訓

    幸虧這個漏洞被扼殺在搖籃里,否則後果還真的挺嚴重的。通過這個案例,我們有啥經驗和教訓呢?那就是作為程序員,我們要對每一行代碼都保持“敬畏”之心。也許就是因為你的不經意的一行代碼就帶來了嚴重的安全漏洞,要是不小心被壞人利用,輕則……重則……(自己想象吧)

    此外,我們也應該看到,程序員需要對常見的安全漏洞(例如XSS/CSRF/SQL注入等等)有所了解,並且要有足夠的安全意識(其實有時候研究一些安全問題還挺好玩的,比如這篇《RSA算法及一種”旁門左道”的攻擊方式》就比較有趣)。例如:

    • 用戶權限分離:運行程序的用戶不應該用 root,例如新建一個“web”或者“www”之類的用戶,並設置該用戶的權限,比如不能有可執行 xx 的權限之類的。本文 case,如果權限進行了分離(遵循最小權限原則),應該也不會這麼嚴重。(本文就剛好是因為是測試環境,所以沒有強制實施)
    • 任何時候都不要相信用戶的輸入,必須對用戶輸入的進行校驗和過濾,又特別是針對公網上的應用。
    • 敏感信息加密保存。退一萬步講,假設攻擊者攻入了你的服務器,如果這個時候,你的數據庫賬戶信息等配置都直接明文保存在服務器中。那數據庫也被脫走了。

    如果可能的話,需要對開發者的代碼進行漏洞掃描。一些常見的安全漏洞現在應該是有現成的工具支持的。另外,讓專業的人做專業的事情,例如要有安全團隊,可能你會說你們公司沒有不也活的好好的,哈哈,只不過可能還沒有被壞人盯上而已,壞人也會考慮到他們的成本和預期收益的,當然這就更加對我們開發者提高了要求。一些敏感權限盡量控制在少部分人手中,配合相應的流程來支撐(不得不說,大公司繁瑣的流程還是有一定道理的)。

    畢竟我不是專業研究Web安全的,以上說得可能也不一定對,如果你有不同意見或者更好的建議歡迎留言參与討論。

    這篇文章從寫代碼做實驗,到錄屏做視頻動圖等等耗時還蠻久的(好幾個周末的時間呢),原創真心不易,希望你能幫我個小忙唄,如果本文內容你覺得有所啟發,有所收穫,請幫忙點個“在看”唄,或者轉發分享讓更多的小夥伴看到。

    精彩推薦
    • 一個由跨平台產生的浮點數bug | 有你意想不到的結果。
    • RSA算法及一種”旁門左道”的攻擊方式。
    • 震驚! 阿里的程序員也不過如此,竟被一個簡單的 SQL 查詢難住。
    • 面了7輪 Google,最終還是逃不脫被掛的命運。

    文章首發於本人微信公眾號(ID:tangleithu),請感興趣的同學關注我的微信公眾號,及時獲取技術乾貨。

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    ※回頭車貨運收費標準

    ※推薦評價好的iphone維修中心

    ※超省錢租車方案

    台中搬家遵守搬運三大原則,讓您的家具不再被破壞!

    ※推薦台中搬家公司優質服務,可到府估價

  • 03 . Prometheus監控容器和HTTP探針應用

    03 . Prometheus監控容器和HTTP探針應用

    Eeporter是什麼及來源?

    是什麼?

    廣義上講所有可以向Prometheus提供監控樣本數據的程序都可以被稱為一個Exporter。而Exporter的一個實例稱為target,如下所示,Prometheus通過輪詢的方式定期從這些target中獲取樣本數據:

    來源有哪些?

    社區提供的

    Prometheus社區提供了豐富的Exporter實現,涵蓋了從基礎設施,中間件以及網絡等各個方面的監控功能。這些Exporter可以實現大部分通用的監控需求。下錶列舉一些社區中常用的Exporter:

    範圍 常用Exporter
    數據庫 MySQL Exporter, Redis Exporter, MongoDB Exporter, MSSQL Exporter等
    硬件 Apcupsd Exporter,IoT Edison Exporter, IPMI Exporter, Node Exporter等
    消息隊列 Beanstalkd Exporter, Kafka Exporter, NSQ Exporter, RabbitMQ Exporter等
    存儲 Ceph Exporter, Gluster Exporter, HDFS Exporter, ScaleIO Exporter等
    HTTP服務 Apache Exporter, HAProxy Exporter, Nginx Exporter等
    API服務 AWS ECS Exporter, Docker Cloud Exporter, Docker Hub Exporter, GitHub Exporter等
    日誌 Fluentd Exporter, Grok Exporter等
    監控系統 Collectd Exporter, Graphite Exporter, InfluxDB Exporter, Nagios Exporter, SNMP Exporter等
    其他 Blockbox Exporter, JIRA Exporter, Jenkins Exporter, Confluence Exporter等

    用戶自定義的

    除了直接使用社區提供的Exporter程序以外,用戶還可以基於Prometheus提供的Client Library創建自己的Exporter程序,目前Promthues社區官方提供了對以下編程語言的支持:Go、Java/Scala、Python、Ruby。同時還有第三方實現的如:Bash、C++、Common Lisp、Erlang,、Haskeel、Lua、Node.js、PHP、Rust等。

    Exporter的運行方式

    從Exporter的運行方式來講,又可以分為

    獨立使用的

    以我們已經使用過的Node Exporter為例,由於操作系統本身並不直接支持Prometheus,同時用戶也無法通過直接從操作系統層面上提供對Prometheus的支持。因此,用戶只能通過獨立運行一個程序的方式,通過操作系統提供的相關接口,將系統的運行狀態數據轉換為可供Prometheus讀取的監控數據。 除了Node Exporter以外,比如MySQL Exporter、Redis Exporter等都是通過這種方式實現的。 這些Exporter程序扮演了一个中間代理人的角色。

    集成到應用中的

    為了能夠更好的監控系統的內部運行狀態,有些開源項目如Kubernetes,ETCD等直接在代碼中使用了Prometheus的Client Library,提供了對Prometheus的直接支持。這種方式打破的監控的界限,讓應用程序可以直接將內部的運行狀態暴露給Prometheus,適合於一些需要更多自定義監控指標需求的項目。

    Exporter規範

    所有的Exporter程序都需要按照Prometheus的規範,返回監控的樣本數據。以Node Exporter為例,當訪問/metrics地址時會返回以下內容:

    # HELP node_cpu Seconds the cpus spent in each mode.
    # TYPE node_cpu counter
    node_cpu{cpu="cpu0",mode="idle"} 362812.7890625
    # HELP node_load1 1m load average.
    # TYPE node_load1 gauge
    node_load1 3.0703125
    

    這是一種基於文本的格式規範,在Prometheus 2.0之前的版本還支持Protocol buffer規範。相比於Protocol buffer文本具有更好的可讀性,以及跨平台性。Prometheus 2.0的版本也已經不再支持Protocol buffer。

    Exporter返回的樣本數據,主要由三個部分組成:樣本的一般註釋信息(HELP),樣本的類型註釋信息(TYPE)和樣本。Prometheus會對Exporter響應的內容逐行解析:

    如果當前行以# HELP開始,Prometheus將會按照以下規則對內容進行解析,得到當前的指標名稱以及相應的說明信息:

    # HELP <metrics_name> <doc_string>
    

    如果當前行以# TYPE開始,Prometheus會按照以下規則對內容進行解析,得到當前的指標名稱以及指標類型:

    # TYPE <metrics_name> <metrics_type>
    

    TYPE註釋行必須出現在指標的第一個樣本之前。如果沒有明確的指標類型需要返回為untyped。 除了# 開頭的所有行都會被視為是監控樣本數據。 每一行樣本需要滿足以下格式規範:

    metric_name [
      "{" label_name "=" `"` label_value `"` { "," label_name "=" `"` label_value `"` } [ "," ] "}"
    ] value [ timestamp ]
    

    其中metric_name和label_name必須遵循PromQL的格式規範要求。value是一個float格式的數據,timestamp的類型為int64(從1970-01-01 00:00:00以來的毫秒數),timestamp為可選默認為當前時間。具有相同metric_name的樣本必須按照一個組的形式排列,並且每一行必須是唯一的指標名稱和標籤鍵值對組合。

    需要特別注意的是對於histogram和summary類型的樣本。需要按照以下約定返回樣本數據:

    1 . 類型為summary或者histogram的指標x,該指標所有樣本的值的總和需要使用一個單獨的x_sum指標表示

    2 . 類型為summary或者histogram的指標x,該指標所有樣本的總數需要使用一個單獨的x_count指標表示。

    3 . 對於類型為summary的指標x,其不同分位數quantile所代表的樣本,需要使用單獨的x{quantile=”y”}表示。

    4 . 對於類型histogram的指標x為了表示其樣本的分佈情況,每一個分佈需要使用x_bucket{le=”y”}表示,其中y為當前分佈的上位數。同時必須包含一個樣本x_bucket{le=”+Inf”},並且其樣本值必須和x_count相同。

    5 . 對於histogram和summary的樣本,必須按照分位數quantile和分佈le的值的遞增順序排序。

    以下是類型為histogram和summary的樣本輸出示例

    # A histogram, which has a pretty complex representation in the text format:
    # HELP http_request_duration_seconds A histogram of the request duration.
    # TYPE http_request_duration_seconds histogram
    http_request_duration_seconds_bucket{le="0.05"} 24054
    http_request_duration_seconds_bucket{le="0.1"} 33444
    http_request_duration_seconds_bucket{le="0.2"} 100392
    http_request_duration_seconds_bucket{le="+Inf"} 144320
    http_request_duration_seconds_sum 53423
    http_request_duration_seconds_count 144320
    
    # Finally a summary, which has a complex representation, too:
    # HELP rpc_duration_seconds A summary of the RPC duration in seconds.
    # TYPE rpc_duration_seconds summary
    rpc_duration_seconds{quantile="0.01"} 3102
    rpc_duration_seconds{quantile="0.05"} 3272
    rpc_duration_seconds{quantile="0.5"} 4773
    rpc_duration_seconds_sum 1.7560473e+07
    rpc_duration_seconds_count 2693
    

    指定樣式格式的版本
    在Exporter響應的HTTP頭信息中,可以通過Content-Type指定特定的規範版本,例如:

    HTTP/1.1 200 OK
    Content-Encoding: gzip
    Content-Length: 2906
    Content-Type: text/plain; version=0.0.4
    Date: Sat, 17 Mar 2018 08:47:06 GMT
    

    其中version用於指定Text-based的格式版本,當沒有指定版本的時候,默認使用最新格式規範的版本。同時HTTP響應頭還需要指定壓縮格式為gzip。

    容器監控

    Docker是一個開源的應用容器引擎,讓開發者可以打包他們的應用以及依賴包到一個可移植的容器中,然後發布到任何流行的Linux/Windows/Mac機器上。容器鏡像正成為一個新的標準化軟件交付方式。

    例如,可以通過一下命令快速在本地啟動一個Nginx服務:

    安裝docker
    # 安裝一些必要的系統工具
    sudo yum install -y yum-utils device-mapper-persistent-data lvm2
    # 添加軟件源信息
    # docker 官方源
    sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
    
    # 阿里雲源
    sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
    
    sudo yum makecache fast
    
    # CentOS7安裝 Docker-ce
    yum -y install docker-ce   
    
    
    mkdir /etc/docker
    vim /etc/docker/daemon.json
    {
    "registry-mirrors": ["https://registry.docker-cn.com"]
    }
    
    # 啟動Docker後台服務
    systemctl start docker && systemctl enable docker
    systemctl daemon-reload                 # 守護進程重啟
    
    # 運行一個nginx做測試
    docker run -itd nginx
    

    為了能夠獲取到Docker容器的運行狀態,用戶可以通過Docker的stats命令獲取到當前主機上運行容器的統計信息,可以查看容器的CPU利用率、內存使用量、網絡IO總量以及磁盤IO總量等信息。

    docker stats
    CONTAINER           CPU %      MEM USAGE / LIMIT     MEM %      NET I/O         BLOCK I/O   PIDS
    9a1648bec3b2        0.30%      196KiB / 3.855GiB     0.00%      828B / 0B       827kB / 0B  1
    # 除了使用命令以外,用戶還可以通過docker提供的http api查看容器的監控統計信息.
    

    使用CAdvisor

    CAdvisor是Google開源的一款用於展示和分析容器運行狀態的可視化工具。通過在主機上運行CAdvisor用戶可以輕鬆的獲取到當前主機上容器的運行統計信息,並以圖表的形式向用戶展示。

    在本地運行CAdvisor也非常簡單,直接運行一下命令即可:

    docker run \
      --volume=/:/rootfs:ro \
      --volume=/var/run:/var/run:rw \
      --volume=/sys:/sys:ro \
      --volume=/var/lib/docker/:/var/lib/docker:ro \
      --publish=8080:8080 \
      --detach=true \
      --name=cadvisor \
      google/cadvisor:latest
    # 通過訪問http://localhost:8080可以查看,當前主機上容器的運行狀態.
    

    CAdvisor是一個簡單易用的工具,相比於使用Docker命令行工具,用戶不用再登錄到服務器中即可以可視化圖表的形式查看主機上所有容器的運行狀態。

    而在多主機的情況下,在所有節點上運行一個CAdvisor再通過各自的UI查看監控信息顯然不太方便,同時CAdvisor默認只保存2分鐘的監控數據。好消息是CAdvisor已經內置了對Prometheus的支持。訪問http://localhost:8080/metrics即可獲取到標準的Prometheus監控樣本輸出:

    下面列舉了一些CAdvisor中獲取的典型監控指標

    指標名稱 類型 含義
    gauge 再過去10秒內容器CPU的平均負載
    container_cpu_usage_seconds_total
    指標名稱 類型 含義
    container_cpu_load_average_10s gauge 過去10秒內容器CPU的平均負載
    container_cpu_usage_seconds_total counter 容器在每個CPU內核上的累積佔用時間 (單位:秒)
    container_cpu_system_seconds_total counter System CPU累積佔用時間(單位:秒)
    container_cpu_user_seconds_total counter User CPU累積佔用時間(單位:秒)
    container_fs_usge_bytes gauge 容器中文件系統的使用量(單位:字節)
    container_network_receive_bytes_total counter 容器網絡累計接受數據總量(單位: 字節)
    container_network_transmit_bytes_total counter 容器網絡累計傳輸數據總量(單位: 字節)

    與Prometheus集成

    修改/etc/prometheus/prometheus.yml,將cAdvisor添加監控數據採集任務目標當中:

      - job_name: 'docker'
        static_configs:
        - targets: ['172.19.0.27:8080']
    
    systemctl restart prometheus
    

    啟動Prometheus服務,可以在Prometheus UI中看到當前所有的Target狀態:

    當能夠正常採集到cAdvisor的樣本數據后,可以通過一下錶達式計算容器的CPU使用率.

    sum(irate(container_cpu_usage_seconds_total{image!=""}[1m])) without (cpu)
    

    查詢容器內存使用量(單位: 字節)

    container_memory_usage_bytes{image!=""}
    

    查詢容器網絡接收量速率(單位: 字節/秒)

    sum(rate(container_network_receive_bytes_total{image!=""}[1m])) without (interface)
    

    查詢容器網絡傳輸量速率

    sum(rate(container_network_transmit_bytes_total{image!=""}[1m])) without (interface)
    

    查詢容器文件系統讀取速率

    sum(rate(container_fs_reads_bytes_total{image!=""}[1m])) without (device)
    
    # 為了方便看出效果,我們使用dd命令
    docker exec -it 628d /bin/bash
    dd if=/dev/zero of=test bs=1M count=1000
    

    • 查詢容器文件系統寫入速率(單位: 字節/秒)
    sum(rate(container_fs_writes_bytes_total{image!=""}[1m])) without (device)
    

    Prometheus網絡探測

    接下來我們主要介紹Prometheus下如何進行白盒監控,我們之前監控主機的資源用量、容器的運行狀態、數據庫中間件的運行數據。 這些都是支持業務和服務的基礎設施,通過白盒能夠了解其內部的實際運行狀態,通過對監控指標的觀察能夠預判可能出現的問題,從而對潛在的不確定因素進行優化。而從完整的監控邏輯的角度,除了大量的應用白盒監控以外,還應該添加適當的黑盒監控。
    黑盒監控即以用戶的身份測試服務的外部可見性,常見的黑盒監控包括HTTP探針、TCP探針等用於檢測站點或者服務的可訪問性,以及訪問效率等。

    黑盒監控相較於白盒監控最大的不同在於黑盒監控是以故障為導向當故障發生時,黑盒監控能快速發現故障,而白盒監控則側重於主動發現或者預測潛在的問題。一個完善的監控目標是要能夠從白盒的角度發現潛在問題,能夠在黑盒的角度快速發現已經發生的問題。

    安裝Blackbox Exporter

    Blackbox Exporter是Prometheus社區提供的官方黑盒監控解決方案,其允許用戶通過:HTTP、HTTPS、DNS、TCP以及ICMP的方式對網絡進行探測。用戶可以直接使用go get命令獲取Blackbox Exporter源碼並生成本地可執行文件:

    下載安裝blackbox_exporter

    wget https://github.com/prometheus/blackbox_exporter/releases/download/v0.16.0/blackbox_exporter-0.16.0.linux-amd64.tar.gz

    tar xvf blackbox_exporter-0.16.0.linux-amd64.tar.gz -C /usr/local/prometheus/
    mv blackbox_exporter-0.16.0.linux-amd64/ blackbox_exporter
    useradd prometheus
    chown -R prometheus:prometheus /usr/local/prometheus/
    
    vim /usr/lib/systemd/system/blackbox_exporter.service
    [Unit]
    Description=blackbox_exporter
    After=network.target
    
    [Service]
    Type=simple
    User=prometheus
    ExecStart=/usr/local/prometheus/blackbox_exporter/blackbox_exporter --config.file=/usr/local/prometheus/blackbox_exporter/blackbox.yml
    Restart=on-failure
    
    [Install]
    WantedBy=multi-user.target
    
    systemctl enable blackbox_exporter.service
    systemctl start blackbox_exporter.service
    

    運行Blackbox Exporter時,需要用戶提供探針的配置信息,這些配置信息可能是一些自定義的HTTP頭信息,也可能是探測時需要的一些TSL配置,也可能是探針本身的驗證行為。在Blackbox Exporter每一個探針配置稱為一個module,並且以YAML配置文件的形式提供給Blackbox Exporter。 每一個module主要包含以下配置內容,包括探針類型(prober)、驗證訪問超時時間(timeout)、以及當前探針的具體配置項:

    # 探針類型:http、 tcp、 dns、 icmp.
    prober: <prober_string>
    # 超時時間
    [ timeout: <duration> ]
    # 探針的詳細配置,最多只能配置其中的一個
    [ http: <http_probe> ]
    [ tcp: <tcp_probe> ]
    [ dns: <dns_probe> ]
    [ icmp: <icmp_probe> ]
    

    下面是一個簡化的探針配置文件blockbox.yml,包含兩個HTTP探針配置項

    modules:
      http_2xx:
        prober: http
        http:
          method: GET
      http_post_2xx:
        prober: http
        http:
          method: POST
    

    通過運行一下命令,並指定使用的探針設置文件啟動Blockbox Exporter實例:

    blackbox_exporter --config.file=/etc/prometheus/blackbox.yml
    or
    systemctl restart blackbox_exporter.service
    

    啟動成功后,就可以通過訪問http://172.19.0.27:9115/probe?module=http_2xx&target=baidu.com對baidu.com進行探測。這裏通過在URL中提供module參數指定了當前使用的探針,target參數指定探測目標,探針的探測結果通過Metrics的形式返回:

    # HELP probe_dns_lookup_time_seconds Returns the time taken for probe dns lookup in seconds
    # TYPE probe_dns_lookup_time_seconds gauge
    probe_dns_lookup_time_seconds 0.004359875
    # HELP probe_duration_seconds Returns how long the probe took to complete in seconds
    # TYPE probe_duration_seconds gauge
    probe_duration_seconds 0.046153996
    # HELP probe_failed_due_to_regex Indicates if probe failed due to regex
    # TYPE probe_failed_due_to_regex gauge
    probe_failed_due_to_regex 0
    # HELP probe_http_content_length Length of http content response
    # TYPE probe_http_content_length gauge
    probe_http_content_length 81
    # HELP probe_http_duration_seconds Duration of http request by phase, summed over all redirects
    # TYPE probe_http_duration_seconds gauge
    probe_http_duration_seconds{phase="connect"} 0.00105657
    probe_http_duration_seconds{phase="processing"} 0.039457402
    probe_http_duration_seconds{phase="resolve"} 0.004359875
    probe_http_duration_seconds{phase="tls"} 0
    probe_http_duration_seconds{phase="transfer"} 0.000337184
    # HELP probe_http_last_modified_timestamp_seconds Returns the Last-Modified HTTP \
    response header in unixtime
    # TYPE probe_http_last_modified_timestamp_seconds gauge
    probe_http_last_modified_timestamp_seconds 1.26330408e+09
    # HELP probe_http_redirects The number of redirects
    # TYPE probe_http_redirects gauge
    probe_http_redirects 0
    # HELP probe_http_ssl Indicates if SSL was used for the final redirect
    # TYPE probe_http_ssl gauge
    probe_http_ssl 0
    # HELP probe_http_status_code Response HTTP status code
    # TYPE probe_http_status_code gauge
    probe_http_status_code 200
    # HELP probe_http_uncompressed_body_length Length of uncompressed response body
    # TYPE probe_http_uncompressed_body_length gauge
    probe_http_uncompressed_body_length 81
    # HELP probe_http_version Returns the version of HTTP of the probe response
    # TYPE probe_http_version gauge
    probe_http_version 1.1
    # HELP probe_ip_protocol Specifies whether probe ip protocol is IP4 or IP6
    # TYPE probe_ip_protocol gauge
    probe_ip_protocol 4
    # HELP probe_success Displays whether or not the probe was a success
    # TYPE probe_success gauge
    probe_success 1
    

    從返回的樣本中,用戶可以獲取站點的DNS解析耗時,站點響應時間,HTTP響應狀態碼等等和站點訪問質量相關的監控指標,從而幫助管理員主動的發現故障和問題.

    Prometheus集成

    接下來,只需要在Prometheus下配置對Blockbox Exporter實例的採集任務即可、最直觀的配置方式.

      - job_name: 'baidu_http2xx_probe'
        params:
          module:
          - http_2xx
          target:
          - baidu.com
        metrics_path: /probe
        static_configs:
        - targets: ['172.19.0.27:9115']
    
      - job_name: 'prometheus_http2xx_probe'
        params:
          module:
          - http_2xx
          target:
          - prometheus.io
        metrics_path: /probe
        static_configs:
        - targets: ['172.19.0.27:9115']
    
    systemctl restart prometheus
    

    這裏分別配置了名為baidu_http2x_probe和prometheus_http2xx_probe的採集任務,並且通過params指定使用的探針(module)以及探測目標(target).

    那問題就來了,假如我們有N個目標站點且都需要M種探測方式,那麼Prometheus中將包含N * M個採集任務,從配置管理的角度來說顯然是不可接受的。這裏我們也可以採用Relabling的方式對這些配置進行簡化,配置方式如下:

      - job_name: 'blackbox'
        metrics_path: /probe
        params:
          module: [http_2xx]
        static_configs:
          - targets:
            - http://prometheus.io    # Target to probe with http.
            - https://prometheus.io   # Target to probe with https.
            - http://example.com:8080 # Target to probe with http on port 8080.
        relabel_configs:
          - source_labels: [__address__]
            target_label: __param_target
          - source_labels: [__param_target]
            target_label: instance
          - target_label: __address__
            replacement: 172.19.0.27:9115
    

    這裏針對每一個探針服務(如http_2xx)定義一個採集任務,並且直接將任務的採集目標定義為我們需要探測的站點,在採集樣本數據之前通過relabel_configs對採集任務進行動態配置.

    * 第一步, 根據Target實例的地址,寫入__param_target標籤中,__param_<name>形式的標籤來表示,
    	# 在採集任務時會在請求目標地址中添加<name>參數,等同於params的設置.
    * 第二步,  獲取__param_target的值,並覆寫到instance標籤中.
    * 第三步,  覆寫Target實例的__address__標籤值為BlockBox Exporter實例的訪問地址.
    

    HTTP探針

    HTTP探針是進行黑盒監控時最常用的探針之一,通過HTTP探針能夠網站或者HTTP服務建立有效的監控,包括其本身的可用性,以及用戶體驗相關的如響應時間等等。除了能夠在服務出現異常的時候及時報警,還能幫助系統管理員分析和優化網站體驗。

    Blockbox Exporter中所有的探針均是以Module的信息進行配置。如下所示,配置了一個最簡單的HTTP探針:

    modules:
      http_2xx_example:
        prober: http
        http:
    

    通過prober配置項指定探針類型。配置項http用於自定義探針的探測方式,這裡有沒對http配置項添加任何配置,表示完全使用HTTP探針的默認配置,該探針將使用HTTP GET的方式對目標服務進行探測,並且驗證返回狀態碼是否為2XX,是則表示驗證成功,否則失敗。

    自定義HTTP請求

    HTTP服務通常會以不同的形式對外展現,有些可能就是一些簡單的網頁,而有些則可能是一些基於REST的API服務。 對於不同類型的HTTP的探測需要管理員能夠對HTTP探針的行為進行更多的自定義設置,包括:HTTP請求方法、HTTP頭信息、請求參數等。對於某些啟用了安全認證的服務還需要能夠對HTTP探測設置相應的Auth支持。對於HTTPS類型的服務還需要能夠對證書進行自定義設置。

    如下所示,這裏通過method定義了探測時使用的請求方法,對於一些需要請求參數的服務,還可以通過headers定義相關的請求頭信息,使用body定義請求內容:

    http_post_2xx:
        prober: http
        timeout: 5s
        http:
          method: POST
          headers:
            Content-Type: application/json
          body: '{}'
    

    如果HTTP服務啟用了安全認證,Blockbox Exporter內置了對basic_auth的支持,可以直接設置相關的認證信息即可:

    http_basic_auth_example:
        prober: http
        timeout: 5s
        http:
          method: POST
          headers:
            Host: "login.example.com"
          basic_auth:
            username: "username"
            password: "mysecret"
    

    對於使用了Bear Token的服務也可以通過bearer_token配置項直接指定令牌字符串,或者通過bearer_token_file指定令牌文件。

    對於一些啟用了HTTPS的服務,但是需要自定義證書的服務,可以通過tls_config指定相關的證書信息:

     http_custom_ca_example:
        prober: http
        http:
          method: GET
          tls_config:
            ca_file: "/certs/my_cert.crt"
    
    • 自定義探針行為
    • 在默認情況下HTTP探針只會對HTTP返回狀態碼進行校驗,如果狀態碼為2XX(200 <= StatusCode < 300)則表示探測成功,並且探針返回的指標probe_success值為1。
    • 如果用戶需要指定HTTP返回狀態碼,或者對HTTP版本有特殊要求,如下所示,可以使用valid_http_versions和valid_status_codes進行定義:
      http_2xx_example:
        prober: http
        timeout: 5s
        http:
          valid_http_versions: ["HTTP/1.1", "HTTP/2"]
          valid_status_codes: []
    

    默認情況下,Blockbox返回的樣本數據中也會包含指標probe_http_ssl,用於表明當前探針是否使用了SSL:

    # HELP probe_http_ssl Indicates if SSL was used for the final redirect
    # TYPE probe_http_ssl gauge
    probe_http_ssl 0
    

    而如果用戶對於HTTP服務是否啟用SSL有強制的標準。則可以使用fail_if_ssl和fail_if_not_ssl進行配置。fail_if_ssl為true時,表示如果站點啟用了SSL則探針失敗,反之成功。fail_if_not_ssl剛好相反。

      http_2xx_example:
        prober: http
        timeout: 5s
        http:
          valid_status_codes: []
          method: GET
          no_follow_redirects: false
          fail_if_ssl: false
          fail_if_not_ssl: false
    

    除了基於HTTP狀態碼,HTTP協議版本以及是否啟用SSL作為控制探針探測行為成功與否的標準以外,還可以匹配HTTP服務的響應內容。使用fail_if_matches_regexp和fail_if_not_matches_regexp用戶可以定義一組正則表達式,用於驗證HTTP返回內容是否符合或者不符合正則表達式的內容。

      http_2xx_example:
        prober: http
        timeout: 5s
        http:
          method: GET
          fail_if_matches_regexp:
            - "Could not connect to database"
          fail_if_not_matches_regexp:
            - "Download the latest version here"
    

    最後需要提醒的時,默認情況下HTTP探針會走IPV6的協議。 在大多數情況下,可以使用preferred_ip_protocol=ip4強制通過IPV4的方式進行探測。在Bloackbox響應的監控樣本中,也會通過指標probe_ip_protocol,表明當前的協議使用情況:

    # HELP probe_ip_protocol Specifies whether probe ip protocol is IP4 or IP6
    # TYPE probe_ip_protocol gauge
    probe_ip_protocol 6
    

    除了支持對HTTP協議進行網絡探測以外,Blackbox還支持對TCP、DNS、ICMP等其他網絡協議![]

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※回頭車貨運收費標準

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    ※推薦評價好的iphone維修中心

    ※教你寫出一流的銷售文案?

    台中搬家公司教你幾個打包小技巧,輕鬆整理裝箱!

    台中搬家遵守搬運三大原則,讓您的家具不再被破壞!

  • 大話計算機網絡一 聊聊UDP

    大話計算機網絡一 聊聊UDP

    引言

    UDP是一個簡單的面向數據報運輸層協議

    UDP不提供可靠性,它把應用程序傳給IP層得數據發送出去,不保證它們能達到目的地

    UDP首部

    端口號表示發送進程和接受進程

    UDP長度字段指的是UDP首部和UDP數據的字節長度,該字段最小值為8字節

    UDP長度是全長減去IP首部的長度

    UDP檢驗和是一個端到端的檢驗和。它由發送端計算,然後由接收端驗證。其目的是為了發現UDP首部和數據在發送端到接收端之間發生的任何改動。

     

    最大UDP數據報長度

    理論上,IP數據報的最大長度是65535字節,這是由IP首部(圖3-1)16比特總長度字段所限制的。去除20字節的IP首部和8個字節的UDP首部,UDP數據報中用戶數據的最長長度為65507字節。但是,大多數實現所提供的長度比這個最大值小。

     

    UDP校驗和

     

    UDP和TCP在首部中都有覆蓋它們首部和數據的檢驗和。UDP的檢驗和是可選的,而TCP的檢驗和是必需的。

    儘管UDP檢驗和的基本計算方法與我們在3.2節中描述的IP首部檢驗和計算方法相類似(16 bit字的二進制反碼和),但是它們之間存在不同的地方。首先,UDP數據報的長度可以為奇数字節,但是檢驗和算法是把若干個16 bit字相加。解決方法是必要時在最後增加填充字節0,這隻是為了檢驗和的計算(也就是說,可能增加的填充字節不被傳送)。

    其次,UDP數據報和TCP段都包含一個12字節長的偽首部,它是為了計算檢驗和而設置的。偽首部包含IP首部一些字段。其目的是讓UDP兩次檢查數據是否已經正確到達目的地(例如,IP沒有接受地址不是本主機的數據報,以及IP沒有把應傳給另一高層的數據報傳給UDP)。UDP數據報中的偽首部格式如圖11-3所示。

     

    在該圖中,我們特地舉了一個奇數長度的數據報例子,因而在計算檢驗和時需要加上填充字節。注意,UDP數據報的長度在檢驗和計算過程中出現兩次。

    如果檢驗和的計算結果為0,則存入的值為全1(65535),這在二進制反碼計算中是等效的。如果傳送的檢驗和為0,說明發送端沒有計算檢驗和。

    如果發送端沒有計算檢驗和而接收端檢測到檢驗和有差錯,那麼UDP數據報就要被悄悄地丟棄。不產生任何差錯報文(當IP層檢測到IP首部檢驗和有差錯時也這樣做)。

    UDP檢驗和是一個端到端的檢驗和。它由發送端計算,然後由接收端驗證。其目的是為了發現UDP首部和數據在發送端到接收端之間發生的任何改動。

     

     

    這個系列主要是對自己讀TCP/IP詳解 卷一 協議的筆記,推薦看完以後去閱讀一下這本又臭又厚的書

    电子書的鏈接地址http://www.52im.net/topic-tcpipvol1.html

    感謝這位站長的開源 

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※回頭車貨運收費標準

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    ※推薦評價好的iphone維修中心

    ※教你寫出一流的銷售文案?

  • 重學 Java 設計模式:實戰裝飾器模式(SSO單點登錄功能擴展,增加攔截用戶訪問方法範圍場景)

    重學 Java 設計模式:實戰裝飾器模式(SSO單點登錄功能擴展,增加攔截用戶訪問方法範圍場景)

    作者:小傅哥
    博客:https://bugstack.cn

    沉澱、分享、成長,讓自己和他人都能有所收穫!

    一、前言

    對於代碼你有編程感覺嗎

    很多人寫代碼往往是沒有編程感覺的,也就是除了可以把功能按照固定的流程編寫出流水式的代碼外,很難去思考整套功能服務的擴展性和可維護性。尤其是在一些較大型的功能搭建上,比較缺失一些駕馭能力,從而導致最終的代碼相對來說不能做到盡善盡美。

    江洋大盜與江洋大偷

    兩個本想描述一樣的意思的詞,只因一字只差就讓人覺得一個是好牛,一個好搞笑。往往我們去開發編程寫代碼時也經常將一些不恰當的用法用於業務需求實現中,當卻不能意識到。一方面是由於編碼不多缺少較大型項目的實踐,另一方面是不思進取的總在以完成需求為目標缺少精益求精的工匠精神。

    書從來不是看的而是用的

    在這個學習資料幾乎爆炸的時代,甚至你可以輕易就獲取幾個T的視頻,小手輕輕一點就收藏一堆文章,但卻很少去看。學習的過程從不只是簡單的看一遍就可以,對於一些實操性的技術書籍,如果真的希望學習到知識,那麼一定是把這本書用起來而絕對不是看起來。

    二、開發環境

    1. JDK 1.8
    2. Idea + Maven
    3. 涉及工程三個,可以通過關注公眾號bugstack蟲洞棧,回復源碼下載獲取(打開獲取的鏈接,找到序號18)
    工程 描述
    itstack-demo-design-9-00 場景模擬工程;模擬單點登錄類
    itstack-demo-design-9-01 使用一坨代碼實現業務需求
    itstack-demo-design-9-02 通過設計模式優化改造代碼,產生對比性從而學習

    三、裝飾器模式介紹

    初看上圖感覺裝飾器模式有點像俄羅斯套娃、某眾汽車,而裝飾器的核心就是再不改原有類的基礎上給類新增功能。不改變原有類,可能有的小夥伴會想到繼承、AOP切面,當然這些方式都可以實現,但是使用裝飾器模式會是另外一種思路更為靈活,可以避免繼承導致的子類過多,也可以避免AOP帶來的複雜性。

    你熟悉的場景很多用到裝飾器模式

    new BufferedReader(new FileReader(""));,這段代碼你是否熟悉,相信學習java開發到字節流、字符流、文件流的內容時都見到了這樣的代碼,一層嵌套一層,一層嵌套一層,字節流轉字符流等等,而這樣方式的使用就是裝飾器模式的一種體現。

    四、案例場景模擬

    在本案例中我們模擬一個單點登錄功能擴充的場景

    一般在業務開發的初期,往往內部的ERP使用只需要判斷賬戶驗證即可,驗證通過後即可訪問ERP的所有資源。但隨着業務的不斷髮展,團隊里開始出現專門的運營人員、營銷人員、數據人員,每個人員對於ERP的使用需求不同,有些需要創建活動,有些只是查看數據。同時為了保證數據的安全性,不會讓每個用戶都有最高的權限。

    那麼以往使用的SSO是一個組件化通用的服務,不能在裏面添加需要的用戶訪問驗證功能。這個時候我們就可以使用裝飾器模式,擴充原有的單點登錄服務。但同時也保證原有功能不受破壞,可以繼續使用。

    1. 場景模擬工程

    itstack-demo-design-9-00
    └── src
        └── main
            └── java
                └── org.itstack.demo.design
                    ├── HandlerInterceptor.java
                    └── SsoInterceptor.java
    
    • 這裏模擬的是spring中的類:HandlerInterceptor,實現起接口功能SsoInterceptor模擬的單點登錄攔截服務。
    • 為了避免引入太多spring的內容影響對設計模式的閱讀,這裏使用了同名的類和方法,盡可能減少外部的依賴。

    2. 場景簡述

    2.1 模擬Spring的HandlerInterceptor

    public interface HandlerInterceptor {
    
        boolean preHandle(String request, String response, Object handler);
    
    }
    
    • 實際的單點登錄開發會基於;org.springframework.web.servlet.HandlerInterceptor 實現。

    2.2 模擬單點登錄功能

    public class SsoInterceptor implements HandlerInterceptor{
    
        public boolean preHandle(String request, String response, Object handler) {
            // 模擬獲取cookie
            String ticket = request.substring(1, 8);
            // 模擬校驗
            return ticket.equals("success");
        }
    
    }
    
    • 這裏的模擬實現非常簡單隻是截取字符串,實際使用需要從HttpServletRequest request對象中獲取cookie信息,解析ticket值做校驗。
    • 在返回的裏面也非常簡單,只要獲取到了success就認為是允許登錄。

    五、用一坨坨代碼實現

    此場景大多數實現的方式都會採用繼承類

    繼承類的實現方式也是一個比較通用的方式,通過繼承后重寫方法,併發將自己的邏輯覆蓋進去。如果是一些簡單的場景且不需要不斷維護和擴展的,此類實現並不會有什麼,也不會導致子類過多。

    1. 工程結構

    itstack-demo-design-9-01
    └── src
        └── main
            └── java
                └── org.itstack.demo.design
                    └── LoginSsoDecorator.java
    
    • 以上工程結構非常簡單,只是通過 LoginSsoDecorator 繼承 SsoInterceptor,重寫方法功能。

    2. 代碼實現

    public class LoginSsoDecorator extends SsoInterceptor {
    
        private static Map<String, String> authMap = new ConcurrentHashMap<String, String>();
    
        static {
            authMap.put("huahua", "queryUserInfo");
            authMap.put("doudou", "queryUserInfo");
        }
    
        @Override
        public boolean preHandle(String request, String response, Object handler) {
            // 模擬獲取cookie
            String ticket = request.substring(1, 8);
            // 模擬校驗
            boolean success = ticket.equals("success");
    
            if (!success) return false;
    
            String userId = request.substring(9);
            String method = authMap.get(userId);
    
            // 模擬方法校驗
            return "queryUserInfo".equals(method);
        }
    
    }
    
    • 以上這部分通過繼承重寫方法,將個人可訪問哪些方法的功能添加到方法中。
    • 以上看着代碼還算比較清晰,但如果是比較複雜的業務流程代碼,就會很混亂。

    3. 測試驗證

    3.1 編寫測試類

    @Test
    public void test_LoginSsoDecorator() {
        LoginSsoDecorator ssoDecorator = new LoginSsoDecorator();
        String request = "1successhuahua";
        boolean success = ssoDecorator.preHandle(request, "ewcdqwt40liuiu", "t");
        System.out.println("登錄校驗:" + request + (success ? " 放行" : " 攔截"));
    }
    
    • 這裏模擬的相當於登錄過程中的校驗操作,判斷用戶是否可登錄以及是否可訪問方法。

    3.2 測試結果

    登錄校驗:1successhuahua 攔截
    
    Process finished with exit code 0
    
    • 從測試結果來看滿足我們的預期,已經做了攔截。如果你在學習的過程中,可以嘗試模擬單點登錄並繼承擴展功能。

    六、裝飾器模式重構代碼

    接下來使用裝飾器模式來進行代碼優化,也算是一次很小的重構。

    裝飾器主要解決的是直接繼承下因功能的不斷橫向擴展導致子類膨脹的問題,而是用裝飾器模式后就會比直接繼承顯得更加靈活同時這樣也就不再需要考慮子類的維護。

    在裝飾器模式中有四個比較重要點抽象出來的點;

    1. 抽象構件角色(Component) – 定義抽象接口
    2. 具體構件角色(ConcreteComponent) – 實現抽象接口,可以是一組
    3. 裝飾角色(Decorator) – 定義抽象類並繼承接口中的方法,保證一致性
    4. 具體裝飾角色(ConcreteDecorator) – 擴展裝飾具體的實現邏輯

    通過以上這四項來實現裝飾器模式,主要核心內容會體現在抽象類的定義和實現上。

    1. 工程結構

    itstack-demo-design-9-02
    └── src
        └── main
            └── java
                └── org.itstack.demo.design
                    ├── LoginSsoDecorator.java
                    └── SsoDecorator.java
    

    裝飾器模式模型結構

    • 以上是一個裝飾器實現的類圖結構,重點的類是SsoDecorator,這個類是一個抽象類主要完成了對接口HandlerInterceptor繼承。
    • 當裝飾角色繼承接口後會提供構造函數,入參就是繼承的接口實現類即可,這樣就可以很方便的擴展出不同功能組件。

    2. 代碼實現

    2.1 抽象類裝飾角色

    public abstract class SsoDecorator implements HandlerInterceptor {
    
        private HandlerInterceptor handlerInterceptor;
    
        private SsoDecorator(){}
    
        public SsoDecorator(HandlerInterceptor handlerInterceptor) {
            this.handlerInterceptor = handlerInterceptor;
        }
    
        public boolean preHandle(String request, String response, Object handler) {
            return handlerInterceptor.preHandle(request, response, handler);
        }
    
    }
    
    • 在裝飾類中有兩個重點的地方是;1)繼承了處理接口、2)提供了構造函數、3)覆蓋了方法preHandle
    • 以上三個點是裝飾器模式的核心處理部分,這樣可以踢掉對子類繼承的方式實現邏輯功能擴展。

    2.2 裝飾角色邏輯實現

    public class LoginSsoDecorator extends SsoDecorator {
    
        private Logger logger = LoggerFactory.getLogger(LoginSsoDecorator.class);
    
        private static Map<String, String> authMap = new ConcurrentHashMap<String, String>();
    
        static {
            authMap.put("huahua", "queryUserInfo");
            authMap.put("doudou", "queryUserInfo");
        }
    
        public LoginSsoDecorator(HandlerInterceptor handlerInterceptor) {
            super(handlerInterceptor);
        }
    
        @Override
        public boolean preHandle(String request, String response, Object handler) {
            boolean success = super.preHandle(request, response, handler);
            if (!success) return false;
            String userId = request.substring(8);
            String method = authMap.get(userId);
            logger.info("模擬單點登錄方法訪問攔截校驗:{} {}", userId, method);
            // 模擬方法校驗
            return "queryUserInfo".equals(method);
        }
    }
    
    • 在具體的裝飾類實現中,繼承了裝飾類SsoDecorator,那麼現在就可以擴展方法;preHandle
    • preHandle的實現中可以看到,這裏只關心擴展部分的功能,同時不會影響原有類的核心服務,也不會因為使用繼承方式而導致的多餘子類,增加了整體的靈活性。

    3. 測試驗證

    3.1 編寫測試類

    @Test
    public void test_LoginSsoDecorator() {
        LoginSsoDecorator ssoDecorator = new LoginSsoDecorator(new SsoInterceptor());
        String request = "1successhuahua";
        boolean success = ssoDecorator.preHandle(request, "ewcdqwt40liuiu", "t");
        System.out.println("登錄校驗:" + request + (success ? " 放行" : " 攔截"));
    }
    
    • 這裏測試了對裝飾器模式的使用,通過透傳原有單點登錄類new SsoInterceptor(),傳遞給裝飾器,讓裝飾器可以執行擴充的功能。
    • 同時對於傳遞者和裝飾器都可以是多組的,在一些實際的業務開發中,往往也是由於太多類型的子類實現而導致不易於維護,從而使用裝飾器模式替代。

    3.2 測試結果

    23:50:50.796 [main] INFO  o.i.demo.design.LoginSsoDecorator - 模擬單點登錄方法訪問攔截校驗:huahua queryUserInfo
    登錄校驗:1successhuahua 放行
    
    Process finished with exit code 0
    
    • 結果符合預期,擴展了對方法攔截的校驗性。
    • 如果你在學習的過程中有用到過單點登陸,那麼可以適當在裏面進行擴展裝飾器模式進行學習使用。
    • 另外,還有一種場景也可以使用裝飾器。例如;你之前使用某個實現某個接口接收單個消息,但由於外部的升級變為發送list集合消息,但你又不希望所有的代碼類都去修改這部分邏輯。那麼可以使用裝飾器模式進行適配list集合,給使用者依然是for循環后的單個消息。

    七、總結

    • 使用裝飾器模式滿足單一職責原則,你可以在自己的裝飾類中完成功能邏輯的擴展,而不影響主類,同時可以按需在運行時添加和刪除這部分邏輯。另外裝飾器模式與繼承父類重寫方法,在某些時候需要按需選擇,並不一定某一個就是最好。
    • 裝飾器實現的重點是對抽象類繼承接口方式的使用,同時設定被繼承的接口可以通過構造函數傳遞其實現類,由此增加擴展性並重寫方法里可以實現此部分父類實現的功能。
    • 就像夏天熱你穿短褲,冬天冷你穿棉褲,雨天挨澆你穿雨衣一樣,你的根本本身沒有被改變,而你的需求卻被不同的裝飾而實現。生活中往往比比皆是設計,當你可以融合這部分活靈活現的例子到代碼實現中,往往會創造出更加優雅的實現方式。

    八、推薦閱讀

    • 1. 重學 Java 設計模式:實戰工廠方法模式(多種類型商品發獎場景)
    • 2. 重學 Java 設計模式:實戰抽象工廠模式(替換Redis雙集群升級場景)
    • 3. 重學 Java 設計模式:實戰建造者模式(裝修物料組合套餐選配場景)
    • 4. 重學 Java 設計模式:實戰原型模式(多套試每人題目和答案亂序場景)
    • 5. 重學 Java 設計模式:實戰橋接模式(多支付渠道「微信、支付寶」與多支付模式「刷臉、指紋」場景)
    • 6. 重學 Java 設計模式:實戰組合模式(營銷差異化人群發券,決策樹引擎搭建場景)

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※別再煩惱如何寫文案,掌握八大原則!

    ※教你寫出一流的銷售文案?

    ※超省錢租車方案

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

    ※回頭車貨運收費標準

  • 給女朋友講解什麼是Git

    給女朋友講解什麼是Git

    前言

    在周六發現了Linus去Google演講的一個視頻,當時還發了一條朋友圈:

    有興趣的同學也可以去看看,一點兒也不無聊,在線看Linus大佬懟人

    https://www.bilibili.com/video/BV1xb411A7ac?from=search&seid=4239535088233137638

    朋友圈的評論有幾個人問我女朋友

    我又恰好給我女朋友科普過什麼是Git,所以這篇文章就有了。

    Git介紹

    Git是幹啥用的?它是一個版本控制軟件。

    Git這個玩意三歪曾經還給女朋友給科普過(三歪會經常給女朋友說點技術的東西,我也不知道她到底聽懂了沒有,反正她每次都說好像有點懂了)。

    當時情況是這樣的,某一天她跟三歪說:我做的Excel還沒保存,電腦藍屏死機了,東西全丟了。

    於是三歪說:這…我也沒怎麼用過Excel這類的軟件,要不看看你用的WPS或者Office?有沒有相關的備份功能或者說是自動保存?

    三歪順手找了一下WPS是有備份(自動保存)功能的,時間什麼的要自己定義一下。

    三歪還補了一句:這種情況要是在程序員的手上感覺發生的概率會低一點,程序員習慣會按ctrl+s。甚至有的時候,看着看着網頁還會按ctrl+s。不過像我們寫代碼的工具(IDEA)都不用自己手動保存了….

    過了一會,她說藍屏之前做的東西找不回來了,沒設置自動保存。

    三歪又感嘆一句:我們寫代碼還有版本控制的軟件,在這個過程中會記錄每次修改的內容,誰改了什麼東西。誰改錯了,誰要背鍋,一個都不能跑

    女朋友聽着三歪一頓亂吹,貌似也有點感興趣:“版本控制是什麼東西?這麼厲害的嗎?會計就經常要背鍋”

    三歪:“其實也沒啥,就是我們一般寫代碼往往都是多人協作的。你們會計可能是每個人負責一張表(Excel),然後把已完成好的表傳給下一個人。而寫代碼的不一樣,我們都是在同一個項目裡邊編寫的,不會單獨等着某個人做完了,其他的人再開始動手”

    女朋友:“嗯?然後呢”

    三歪:“你可以理解成,我們多個人會在同一個目錄下編寫代碼,裡邊可能會做更改或者添加文件的操作。項目組裡的所有人都可以對這個目錄修改,改完了我們會提交,然後發布上線系統。”

    女朋友:“啥?你是不是偏題了?這跟發布上線系統有啥關係?”

    三歪:“哦,我還是舉個例子吧。就比如我們寫論文的時候可能要對論文不斷修改,我們的修改是基於原有的基礎上改的”

    三歪繼續補充:”因為我們怕在原來的基礎改錯了東西,沒法恢復,所以,我們可能會有多個「畢業論文」的文件。而我們寫代碼的時候本身就是「多人協作」的,修改是無法避免的,我們不希望有多個文件的產生,又希望能夠記錄每次更改的內容。“

    三歪:”更改的內容指的就是:基於原有的基礎上更改了什麼,以及提交者是誰。這樣子,我們就沒法甩鍋了。說白了就是,我們能知道的文件被改了什麼,以及誰改了“。

    三歪:“到這裏,有問題嗎?”

    女朋友:“嗯,沒問題,你繼續”

    三歪:“「每一次的修改」我們稱為一個版本,它能夠實現版本與版本之間的來回穿梭。打個比方,我有篇文章寫了一周,這期間有10個版本,我能隨意回到我想要的版本。所以它叫做版本控制軟件”

    女朋友:“我大致聽懂了,大概就是每一次修改都會被記錄下來,然後你們就可以知道每一次版本修改了什麼,是誰改的,如果做錯了,可以通過這個軟件回到想要的版本”

    三歪:“嗯,就是這個意思”

    女朋友:“那我想問個問題,你一直提到的「多人協作」是在同一個目錄下對文件修改的,然後可以看到彼此改了什麼。那你是在你的電腦上改,你的同事是在他的電腦上改的,你們是怎麼看到彼此改了什麼?這現在有這麼厲害的東西了嗎?“

    三歪:”哦~你的意思大概就是:我們又不聯網,怎麼知道對方改了什麼,是這個意思吧?“

    女朋友:“嗯,是的”

    三歪:“你的理解是沒錯的,我們之間不聯網,是沒辦法知道對方改了什麼的。我漏了一點沒說,我們在改到一定程度下(比如說這個功能我們做完了、也可能做得差不多了),我們會把當前版本提交到遠程倉庫上”

    三歪繼續補充:“可以發現的是,提交到遠程倉庫后,即便我們電腦壞了,我們可以從遠程倉庫再把這份數據拉取下來。”

    女朋友:“所以呢?遠程倉庫到我這聽起來就是一個備份的功能吧?你們怎麼知道對方改了什麼?”

    三歪:“是這樣的,我們從遠程倉庫拉取代碼的時候除了會把有變動的代碼同步到自己的電腦上,還會把所有修改的記錄也同步到自己的電腦上。所以說,我們會知道彼此修改的內容。”

    女朋友:”聽着很有用啊,我平時用的word和excel可以用這個軟件嗎?即便我電腦壞了,我還可以去『遠程倉庫』拿到上一次我提交的數據,並且還有你所說的『版本控制』功能。又能備份,又能知道每次修改了什麼,很好用啊!“

    三歪:”很可惜,像你們那種工作場景,可能用不上,也可以說不太適合用“

    女朋友:”為什麼?“

    三歪:”之前我也想要用定時任務+GitHub的方式去保存我在本地寫的文章,發出來之後,被一頓噴。GitHub你可以簡單理解為就是那個遠程倉庫,定時任務我就是讓它隔一段時間就保存一次“

    女朋友:”我聽明白了,你想要的是備份功能,對吧?為什麼被噴的呢?“

    三歪:”他們說我瞎整,這每隔一段時間就提交到GitHub,網絡開銷可多大啊。然後給我列出一系列的產品,比如說:「堅果雲」「Dropbox」「OneDrive」等等“

    女朋友:”那你怎麼不用?“

    三歪:”我哪知道啊,有信息差的呢。反正當時覺得自己寫個定時任務實現了,就沒多想了。“

    女朋友:”那你是真的菜“

    三歪:”哦“

    三歪:”除了上面說的自動同步,你們的word、excel在用我們的工具也沒法查到歷史的版本記錄“

    女朋友:”為啥?你不是說你們寫代碼都可以的嗎?為什麼word和excel就沒法查?“

    三歪:”我們寫代碼的文件類型都是屬於文本文件,而你的word、excel本質上屬於二進制文件,很難去比對每次修改的差異,所以不支持“

    女朋友:”那聽你這樣說,在我的場景里這個「版本控制軟件」沒啥用啊,它不能記錄像Word、Excel這種文件每次版本的差異,要想用它做備份,還不如現有的雲產品。“

    三歪:”嗯,是的。其實現在雲產品也能提供版本控制的功能了,你用它們就足夠了。還有一點很重要的是,它有學習成本,可不是每個人都會用的。“

    女朋友:”聽你說了這麼多,好像雲產品就很行啊,為啥你們還要「偏執」去用你說的那東西?“

    三歪:“主要是我們寫代碼時遇到的問題會更多,我們用的「版本控制軟件」會更加靈活,它支持的功能會更多。”

    女朋友:“對了,你都說了這麼久了,你們用的那個軟件叫啥啊?”

    三歪:“Git

    三歪瞎扯

    其實本來想着直接講一下在工作中常用到的Git命令,但發現不太好寫(琢磨了很久

    看三歪文章的人可能很多都是大學生,對Git本身了解可能就不太清楚,直接上Git的命令可能看不太懂,所以就分開了兩篇。

    下一篇講一下三歪在工作中使用Git的糗事以及工作中是怎麼用Git的。

    涵蓋Java後端所有知識點的開源項目(已有8K+ star):

    • GitHub
    • Gitee訪問更快

    我是三歪,一個想要變強的男人,感謝大家的點贊收藏和轉發,下期見。

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※別再煩惱如何寫文案,掌握八大原則!

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※超省錢租車方案

    ※教你寫出一流的銷售文案?

    網頁設計最專業,超強功能平台可客製化

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!

  • LeetCode 76,一題教會你面試算法時的思考套路

    LeetCode 76,一題教會你面試算法時的思考套路

    本文始發於個人公眾號:TechFlow,原創不易,求個關注

    今天是LeetCode專題的第45篇文章,我們一起來看看LeetCode的76題,最小窗口子串Minimum Window Substring。

    這題的官方難度是Hard,通過了也是34.2%,4202人點贊,299人反對。從通過率以及點贊比來看,這題的質量很高,稍稍有些偏難,所以小夥伴們請做好準備,這是一道有點挑戰的問題。

    題意和樣例

    我們一起來看下題意,這題的題意很短,給定兩個字符串S和T。要求設計一個複雜度為的算法,在S串當中找到一個子串,能夠包含T串當中的所有字符。要求返回合法且長度最小的窗口的內容。

    注意:

    • 如果不存在這樣的窗口,返回“”。
    • 如果窗口存在,題目保證有且只有一個。

    樣例:

    Input: S = "ADOBECODEBANC", T = "ABC"
    Output: "BANC"
    

    分析

    我們來分析一下這個問題,從題意當中大家應該都能感受到它的難度。因為上來題目當中就限定了我們使用的算法的複雜度必須是,然而我們遍歷字符串的複雜度就已經是了,也就是說我們不能引入額外的計算開銷,否則一定不滿足題目的要求。

    可能有些同學會想到傳說中在時間內判斷字符串匹配的KMP算法,如果你不知道這個算法也沒有關係,因為這個算法並不適用。因為我們要找的不是完全相等的子串的位置,而是找的是字符構成一樣的子串,所以並不能通過引入字符串匹配算法來解決。沒有學過KMP算法的同學可以松一口氣了,這題當中並不會引入新的算法。

    解題的套路

    一般來說當我們面臨一個算法問題的時候,我們常常的思考過程主要有兩種。一種是適配,說白了就是把可能可以用上的算法往問題上套。根據題意先感覺一下,大概會用到什麼樣的算法,然後詳細地推導適配的過程,看看是不是真的適用或者是有什麼坑,或者是會出現什麼新的問題。如果一切OK,能夠推理得通,那麼這個算法就是解。第二種方法是建模,也就是說從題意入手,對題意進行深入的分析,對問題進行建模和抽象,找到問題的核心,從而推導出用什麼樣的算法可以解決。

    舉個很簡單的例子,一般來說我們的動態規劃算法都是適配。都是我們先感覺或者是猜測出可以使用動態規劃,然後再去找狀態和轉移,最後建立狀態轉移方程。而一些搜索問題一般是建模,我們先對問題進行分析,然後找出需要搜索的解的存在空間,然後設計算法去搜索和剪枝,最後找到答案。

    據說一些頂級高手這兩種方法是一起使用的,所以才可以那麼快速地找到解。當然我不是頂級高手,所以這個也只是我的猜測。這個思考過程非常有用,特別是當我們面試的時候,遇到一個從未見過的問題,如果你什麼套路也沒有,頭腦一片空白或者是苦思冥想不得要領是很常見的事情。當你有了套路之後,你就可以試着慢慢找到答案了。

    回到這道題本身,我們剛才已經試過了,拿字符串匹配的算法網上套是不行的。在視野里似乎也沒有其他的算法可以套用,所以我們換一種思路,試試看建模。

    首先我們可以肯定一點,我們需要在遍歷的時候找到答案,這樣才可以保證算法的複雜度是。我們的目標是尋找子串,也就是說我們遍歷的過程應該對應一個子串,並且我們有方法可以快速判斷這個子串是否合法。這樣我們才可以做到遍歷的同時判斷答案的可行性。進而可以想到這是一個區間維護的問題,區間維護我們經常使用的方法就是two pointers。所以我們可以試試two pointers能否適用。

    實際上這道題的正解就是two pointers。

    題解

    我們維護了一個區間,我們需要判斷區間里的字符構成,這個很容易想到可以使用dict,維護每一個字符出現的次數。在這個題目當中,我們只需要考慮覆蓋的情況,也就是說字符多了並不會構成非法。所以我們可以維護一個dict,每次讀入一個字符更新它,當dict當中的字符滿足要求的時候,為了使得區間長度盡量短,我們可以試着移動區間的左側,盡量縮短區間的長度。

    從區間維護的角度來說,我們每次移動區間右側一個單位,只有當區間內已經滿足題意的時候才會移動左側。通過移動左側彈出元素來獲取能夠滿足題意的最佳區間。

    我們來看下主要的流程代碼:

    # 存儲區間內的字符
    segement = {}
    for i in range(n):
        segement[s[i]] += 1
        # 當滿足條件的時候移動區間左側
        while l <= i and satisified(segment):
            # 更新最佳答案
            if i - l + 1 < ans_len:
                ans_len = i - l + 1
                beg, end = l, i + 1
            # 彈出元素
      segement[s[l]] -= 1
            l += 1
    

    到這裏還有一個小問題,就是怎麼樣判斷這個segment是否合法呢?我們可以用一個数字matched來記錄目前已經匹配上的字符的數量。當某個字符在segment當中出現的次數和T中的次數相等的時候,matched加一。當matched的數量和T中字符種類的數量相等的時候,就可以認為已經合法了。

    我們把所有的邏輯串起來,就可以通過這題了。

    class Solution:
        def minWindow(self, s: str, t: str) -> str:
            from collections import Counter, defaultdict
            # 通過Counter直接獲取T當中的字符構成
            counter = Counter(t)
            n, m = len(s), len(counter)
            l, beg, end = 0, 0, 0
            cur = defaultdict(int)
            matched = 0
            flag = False
            # 記錄合法的字符串的長度
            ans_len = 0x3f3f3f3f
            
            for i in range(n):
                if s[i] not in counter:
                    continue
                    
                cur[s[i]] += 1
                # 當數量匹配上的時候,matched+1
                if cur[s[i]] == counter[s[i]]:
                    matched += 1
                    
                # 如果已經找到了合法的區間,嘗試縮短區間的長度
                while l <= i and matched == m:
                    if i - l + 1 < ans_len:
                        flag = True
                        beg, end = l, i+1
                        ans_len = i - l + 1
                        
                    # 彈出左側元素
                    c = s[l]
                    if c in counter:
                        cur[c] -= 1
                        if cur[c] < counter[c]:
                            matched -= 1
                            
                    l += 1
    
            
            return "" if not flag else s[beg: end]
    

    總結

    到這裏,這道題就算是解決了。很多同學可能會覺得疑惑,為什麼我們用到了兩重循環,但是它依然還是的算法呢?

    這個是two pointers算法的常見問題,也是老生常談的話題了。我們在分析複雜度的時候,不能只簡單地看用到了幾層循環,而是要抓住計算的核心。比如在這個問題當中,我們內部的while循環針對的變量是l,l這個變量對於i整體是遞增的。也就是說無論外面這個循環執行多少次,裏面的這個while循環一共最多累加只能執行n次。那麼,當然這是一個的算法。

    這題總體來說有些難度,特別是一開始的時候可能會覺得沒有頭緒無從下手。這個時候有一個清晰的頭腦以及靠譜的思考鏈非常重要,希望大家都能學到這個其中思維的過程,這樣以後才可以應付更多的算法問題。

    如果喜歡本文,可以的話,請點個關注,給我一點鼓勵,也方便獲取更多文章。

    本文使用 mdnice 排版

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※教你寫出一流的銷售文案?

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※回頭車貨運收費標準

    ※別再煩惱如何寫文案,掌握八大原則!

    ※超省錢租車方案

    ※產品缺大量曝光嗎?你需要的是一流包裝設計!