對綠能產業相當關心的 Google，在分散式能源領域，當然也不會缺席。今年 5 月，Google 公布「小盒計畫（Little Box Challenge）」，若是有員工能研發出縮小版的逆變器，就能獲得 100 萬美元（約合新台幣 3,000 萬元）獎金。而最近 Google 將這項計畫對外開放，參賽者在 2015 年 7 月前都能報名參加，最後交由電機電子工程師學會（IEEE）評選出優勝者。

逆變器在綠能產業中扮演關鍵性的角色，舉凡連接太陽能板、風力發電機、電動車等電網裝置，都需要逆變器參與其中，而逆變器的主要用途就是把太陽能板接收能量後產生的直流電，轉換為交流電併入電網當中；電動車作為電力儲存裝置時，若要將電能輸出，也同樣必須藉由逆變器轉換為交流電併入電網。    
 

   
逆變器體積縮小有利微電網發展   然而，隨著屋頂太陽能板裝設越來越普遍，龐大的逆變器顯得笨重又不符合效益，這也是 Google 為何如此迫切希望大幅縮小逆變器的體積與重量的原因。   Google 的「小盒計畫」希望將逆變器體積縮為現在的十分之一，相當於一台小筆電的大小；每立方英吋的功率密度須超過 50 瓦特；轉換效率最低值至少為 95%；耐高溫性的部分，須可承受攝氏 60 度的高溫，其他標準則包括一些能讓逆變器與電網連結作用的規格限制。而綜結以上這些規格，最重要的，當然還是參賽者能否縮小逆變器的體積大小了。  
 

      假如能研發出小型逆變器，Google 希望能在偏遠地區打造低成本的微電網，或在停電時，能以電動車維持穩定電力供給，讓他們在綠能產業的佈局上，又多了一項投資。   在矽谷科技企業中，Google 對綠能的投資可說是最不手軟的一家，綠能涉獵範圍也最廣泛。就如先前《科技新報》提到的，過去 5 年內，Google 在太陽能與風能等綠能上的投資，已超過 10 億美元。除了持有「大西洋風能網」項目建設中 37.5 % 的股份、投資美國離岸風力發電骨幹計畫 50 億美元外，在電網上的參與也越來越活躍。   過去幾個月以來，Google 開發名為「顛覆電網（Bottom Up Grid）」的專案，陸續招募電力或電子工程師，希望能從最根本改善電力轉換系統。看來現在除了佈局綠能產業外，與綠能息息相關的電網系統，也成為 Google 改革的目標了。   本文全文授權自《科技新報》──  

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※台北網頁設計公司全省服務真心推薦

※想知道最厲害的網頁設計公司"嚨底家"!

※新北清潔公司,居家、辦公、裝潢細清專業服務

※推薦評價好的iphone維修中心

摘要：LeNet-5是Yann LeCun在1998年設計的用於手寫数字識別的卷積神經網絡，當年美國大多數銀行就是用它來識別支票上面的手寫数字的，它是早期卷積神經網絡中最有代表性的實驗系統之一。可以說，LeNet-5就相當於編程語言入門中的“Hello world！”。

華為的昇騰訓練芯片一直是大家所期待的，目前已經開始提供公測，如何在昇騰訓練芯片上運行一個訓練任務，這是目前很多人都在采坑過程中，所以我寫了一篇指導文章，附帶上所有相關源代碼。注意，本文並沒有包含環境的安裝，請查看另外相關文檔。

環境約束：昇騰910目前僅配套TensorFlow 1.15版本。

基礎鏡像上傳之後，我們需要啟動鏡像命令，以下命令掛載了8塊卡（單機所有卡）：

docker run -it –net=host –device=/dev/davinci0 –device=/dev/davinci1 –device=/dev/davinci2 –device=/dev/davinci3 –device=/dev/davinci4 –device=/dev/davinci5 –device=/dev/davinci6 –device=/dev/davinci7 –device=/dev/davinci_manager –device=/dev/devmm_svm –device=/dev/hisi_hdc -v /var/log/npu/slog/container/docker:/var/log/npu/slog -v /var/log/npu/conf/slog/slog.conf:/var/log/npu/conf/slog/slog.conf -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ -v /usr/local/Ascend/driver/tools/:/usr/local/Ascend/driver/tools/ -v /data/:/data/ -v /home/code:/home/local/code -v ~/context:/cache ubuntu_18.04-docker.arm64v8:v2 /bin/bash

設置環境變量並啟動手寫字訓練網絡：

#!/bin/bash
export LD_LIBRARY_PATH=/usr/local/lib/:/usr/local/HiAI/runtime/lib64
export PATH=/usr/local/HiAI/runtime/ccec_compiler/bin:$PATH
export CUSTOM_OP_LIB_PATH=/usr/local/HiAI/runtime/ops/framework/built-in/tensorflow
export DDK_VERSION_PATH=/usr/local/HiAI/runtime/ddk_info
export WHICH_OP=GEOP
export NEW_GE_FE_ID=1
export GE_AICPU_FLAG=1
export OPTION_EXEC_EXTERN_PLUGIN_PATH=/usr/local/HiAI/runtime/lib64/plugin/opskernel/libfe.so:/usr/local/HiAI/runtime/lib64/plugin/opskernel/libaicpu_plugin.so:/usr/local/HiAI/runtime/lib64/plugin/opskernel/libge_local_engine.so:/usr/local/H
iAI/runtime/lib64/plugin/opskernel/librts_engine.so:/usr/local/HiAI/runtime/lib64/libhccl.so
 
export OP_PROTOLIB_PATH=/usr/local/HiAI/runtime/ops/built-in/
 
export DEVICE_ID=2
export PRINT_MODEL=1
#export DUMP_GE_GRAPH=2
 
#export DISABLE_REUSE_MEMORY=1
#export DUMP_OP=1
#export SLOG_PRINT_TO_STDOUT=1
 
export RANK_ID=0
export RANK_SIZE=1
export JOB_ID=10087
export OPTION_PROTO_LIB_PATH=/usr/local/HiAI/runtime/ops/op_proto/built-in/
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/Ascend/fwkacllib/lib64/:/usr/local/Ascend/driver/lib64/common/:/usr/local/Ascend/driver/lib64/driver/:/usr/local/Ascend/add-ons/
export PYTHONPATH=$PYTHONPATH:/usr/local/Ascend/opp/op_impl/built-in/ai_core/tbe
export PATH=$PATH:/usr/local/Ascend/fwkacllib/ccec_compiler/bin
export ASCEND_HOME=/usr/local/Ascend
export ASCEND_OPP_PATH=/usr/local/Ascend/opp
export SOC_VERSION=Ascend910
 
rm -f *.pbtxt
rm -f *.txt
rm -r /var/log/npu/slog/*.log
rm -rf train_url/*
 
 
python3 mnist_train.py

以下訓練案例中我使用的lecun大師的LeNet-5網絡，先簡單介紹LeNet-5網絡：

LeNet5誕生於1994年，是最早的卷積神經網絡之一，並且推動了深度學習領域的發展。自從1988年開始，在多年的研究和許多次成功的迭代后，這項由Yann LeCun完成的開拓性成果被命名為LeNet5。

LeNet-5包含七層，不包括輸入，每一層都包含可訓練參數（權重），當時使用的輸入數據是32*32像素的圖像。下面逐層介紹LeNet-5的結構，並且，卷積層將用Cx表示，子採樣層則被標記為Sx，完全連接層被標記為Fx，其中x是層索引。

層C1是具有六個5*5的卷積核的卷積層（convolution），特徵映射的大小為28*28，這樣可以防止輸入圖像的信息掉出卷積核邊界。C1包含156個可訓練參數和122304個連接。

層S2是輸出6個大小為14*14的特徵圖的子採樣層（subsampling/pooling）。每個特徵地圖中的每個單元連接到C1中的對應特徵地圖中的2*2個鄰域。S2中單位的四個輸入相加，然後乘以可訓練係數（權重），然後加到可訓練偏差（bias）。結果通過S形函數傳遞。由於2*2個感受域不重疊，因此S2中的特徵圖只有C1中的特徵圖的一半行數和列數。S2層有12個可訓練參數和5880個連接。

層C3是具有16個5-5的卷積核的卷積層。前六個C3特徵圖的輸入是S2中的三個特徵圖的每個連續子集，接下來的六個特徵圖的輸入則來自四個連續子集的輸入，接下來的三個特徵圖的輸入來自不連續的四個子集。最後，最後一個特徵圖的輸入來自S2所有特徵圖。C3層有1516個可訓練參數和156 000個連接。

層S4是與S2類似，大小為2*2，輸出為16個5*5的特徵圖。S4層有32個可訓練參數和2000個連接。

層C5是具有120個大小為5*5的卷積核的卷積層。每個單元連接到S4的所有16個特徵圖上的5*5鄰域。這裏，因為S4的特徵圖大小也是5*5，所以C5的輸出大小是1*1。因此S4和C5之間是完全連接的。C5被標記為卷積層，而不是完全連接的層，是因為如果LeNet-5輸入變得更大而其結構保持不變，則其輸出大小會大於1*1，即不是完全連接的層了。C5層有48120個可訓練連接。

F6層完全連接到C5，輸出84張特徵圖。它有10164個可訓練參數。這裏84與輸出層的設計有關。

LeNet的設計較為簡單，因此其處理複雜數據的能力有限；此外，在近年來的研究中許多學者已經發現全連接層的計算代價過大，而使用全部由卷積層組成的神經網絡。

LeNet-5網絡訓練腳本是mnist_train.py，具體代碼：

import os
import numpy as np
import tensorflow as tf
import time
from tensorflow.examples.tutorials.mnist import input_data
 
import mnist_inference
 
from npu_bridge.estimator import npu_ops #導入NPU算子庫
from tensorflow.core.protobuf.rewriter_config_pb2 import RewriterConfig #重寫tensorFlow里的配置，針對NPU的配置
 
 
batch_size = 100
learning_rate = 0.1
training_step = 10000
 
model_save_path = "./model/"
model_name = "model.ckpt"
 
def train(mnist):
    x = tf.placeholder(tf.float32, [batch_size, mnist_inference.image_size, mnist_inference.image_size, mnist_inference.num_channels], name = 'x-input')
    y_ = tf.placeholder(tf.float32, [batch_size, mnist_inference.num_labels], name = "y-input")
 
    regularizer = tf.contrib.layers.l2_regularizer(0.001)
    y = mnist_inference.inference(x, train = True, regularizer = regularizer) #推理過程
    global_step = tf.Variable(0, trainable=False)
    cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits = y, labels = tf.argmax(y_, 1)) #損失函數
    cross_entropy_mean = tf.reduce_mean(cross_entropy)
    loss = cross_entropy_mean + tf.add_n(tf.get_collection("loss"))
 
    train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step = global_step) #優化器調用
 
    saver = tf.train.Saver() #啟動訓練
 
#以下代碼是NPU所必須的代碼，開始配置參數
    config = tf.ConfigProto(
        allow_soft_placement = True,
        log_device_placement = False)
    custom_op =  config.graph_options.rewrite_options.custom_optimizers.add()
    custom_op.name =  "NpuOptimizer"
    custom_op.parameter_map["use_off_line"].b = True
    #custom_op.parameter_map["profiling_mode"].b = True
    #custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes("task_trace:training_trace")
config.graph_options.rewrite_options.remapping = RewriterConfig.OFF
#配置參數結束
 
    writer = tf.summary.FileWriter("./log_dir", tf.get_default_graph())
    writer.close()
 
 
#參數初始化
    with tf.Session(config = config) as sess:
        tf.global_variables_initializer().run()
 
        start_time = time.time()
 
        for i in range(training_step):
xs, ys = mnist.train.next_batch(batch_size)
            reshaped_xs = np.reshape(xs, (batch_size, mnist_inference.image_size, mnist_inference.image_size, mnist_inference.num_channels))
            _, loss_value, step = sess.run([train_step, loss, global_step], feed_dict={x:reshaped_xs, y_:ys})
 
            #每訓練10個epoch打印損失函數輸出日誌
            if i % 10 == 0:
                print("****************************++++++++++++++++++++++++++++++++*************************************\n" * 10)
                print("After %d training steps, loss on training batch is %g, total time in this 1000 steps is %s." % (step, loss_value, time.time() - start_time))
                #saver.save(sess, os.path.join(model_save_path, model_name), global_step = global_step)
                print("****************************++++++++++++++++++++++++++++++++*************************************\n" * 10)
                start_time = time.time()
def main():
    mnist = input_data.read_data_sets('MNIST_DATA/', one_hot= True)
    train(mnist)
 
if __name__ == "__main__":
    main()

本文主要講述了經典卷積神經網絡之LeNet-5網絡模型和遷移至昇騰D910的實現，希望大家快來動手操作一下試試看！

 

點擊關注，第一時間了解華為雲新鮮技術~

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※台北網頁設計公司全省服務真心推薦

※想知道最厲害的網頁設計公司"嚨底家"!

※新北清潔公司,居家、辦公、裝潢細清專業服務

※推薦評價好的iphone維修中心

論文基於層級表達提出高效的進化算法來進行神經網絡結構搜索，通過層層堆疊來構建強大的卷積結構。論文的搜索方法簡單，從實驗結果看來，達到很不錯的準確率，值得學習
 
來源：【曉飛的算法工程筆記】 公眾號

論文: Hierarchical Representations for Efficient Architecture Search

• 論文地址：https://arxiv.org/abs/1711.00436

Introduction

  由於網絡的驗證需要耗費很長的時間，神經網絡結構搜索計算量非常巨大，很多研究通過降低搜索空間的複雜度來提高搜索的效率。論文通過加入分層網絡結構來約束搜索空間，在最初幾層僅使用卷積和池化等簡單操作，逐步到高層將底層的block進行組合搭建，最後將最高層的block堆疊成最終的網絡。由於搜索空間設計夠好，網絡的搜索方法僅用進化算法或隨機搜索足以。
  論文總結如下：

• 提出對神經網絡結構的層級表達
• 通過實驗證明搜索空間的設計十分重要，可以降低搜索方法的投入，甚至隨機搜索也可以
• 提出可擴展的進化搜索方法，對比其它進化搜索方法有更好的結果

Architecture Representations

Flat Architecture Representation

  將神經網絡結構定義為單輸入、單輸出的計算圖，圖中每個節點代表特徵圖，每條有向邊為基本操作(卷積、池化等)，所以網絡的表達$(G,o)$包含兩部分:

1. 一個有效的操作集合$o={o_1,o_2,…}$
2. 一個鄰接矩陣$G$，用以指定操作的神經網絡圖，$G_{ij}=k$為節點$i$和節點$j$間的操作為$o_k$

  將操作集$o$和鄰接矩陣$G$組合起來就得到網絡的結構

  每個節點$i$的特徵圖$x_i$由其前面的節點$j$通過公式2計算而得，$|G|$是圖中節點數量，$merge$將多個特徵圖合併成一個的操作，這裏直接使用depthwise concatentation，由於element-wise addition要求維度一致，比較不靈活，而且如果融合特徵後接的是$1\times 1$卷積，這就其實類似於做concatienation

Hierarchical Architecture Representation

  層級結構表達的關鍵是找到不同的層級的模版，在構建高層模版時使用低層的模版作為積木(operation)進行構建

  對於$L$層的層級關係，$\ell$層包含$M_{\ell}$個模版，最高層$\ell=L$僅包含一個模版，對應完整的網絡，最低層$\ell=1$是元操作集，定義$o_m^{{(\ell)}$為$\ell$層的第$m$個模版，為低層模版$o}{(\ell)}={o_1^{(\ell -1)},o_2^{(\ell -1)},…,o_1^{(\ell – 1)}}$根據公式3的組合。最終的層級結構表達為$({{G_m^{{(\ell)}}_{m=1}}M}_{\ell=2}^L,o{(1)})$，由每層的模版的網絡結構關係和最底層操作定義，如圖1

Primitive Operations

  低層的原操作共六種($\ell=1$,$M_t=6$)：

• 1 × 1 convolution of C channels
• 3 × 3 depthwise convolution
• 3 × 3 separable convolution of C channels
• 3 × 3 max-pooling
• 3 × 3 average-pooling
• identity

  使用時，所有元操作為stride=1，以及進行padded來保留分辨率，卷積后都接BN+ReLU，維度固定為$C$。另外每層都有$none$操作，代表節點$i$和節點$j$之間沒有連接

Evolutionary Architecture Search

Mutation

  分層基因的變異包含以下步驟：

• 採樣一個非原始層$\ell\ge2$作為目標層
• 在目標層採樣一個模版$m$作為目標模版
• 在目標模版中採樣一個後繼節點$i$
• 在目標模版中採樣一個前置節點$j$
• 隨機替換當前操作$o_k^{(\ell -1)}$為其它操作$o_{k^{‘}}{(\ell -1)}$

  對於當前層級只有兩層的，第一步直接將$\ell$設為2，變異可總結為公式4，$\ell$,$m$,$i$,$j$,$k^{‘}$從各自區域的均勻分佈中隨機抽樣得到，上面的突變足夠對模版產生3種修改：

• 添加邊：$o_k^{(\ell -1)}=none$，$o_{k^{‘}}{(\ell -1)}\ne none$
• 修改存在的邊：$o_k^{(\ell -1)}\ne none$，$o_{k^{‘}}{(\ell -1)}\ne none$，$o_k^{(\ell -1)}\ne o_{k^{‘}}{(\ell -1)}$
• 刪除存在的邊：$o_k^{(\ell -1)}\ne none$，$o_{k^{‘}}{(\ell -1)}= none$

Initialization

  基因指代完整的網絡，基因的種群初始化包含兩個步驟:

1. 建立一個不重要的基因，每個模版都使用identity進行連接
2. 對基因進行大批量的隨機變異來多樣化

  對比以前的研究使用常見的網絡進行基因初始化，這樣的初始化不僅能很好地覆蓋不常見的網絡的搜索空間，還能去除人工初始化帶來的傳統偏向

Search Algorithms

  論文的進化算法基於錦標賽選擇(tournament selection)，首先對初始化的種群網絡進行訓練和測試得到分數，然後從種群中隨機獲取5%的基因，表現最好的基因進行突變得到新網絡，在訓練和測試後放入種群中，重複進行上述選取與放回，種群數量不斷增大，最終取種群表現最好的基因
  論文也使用隨機搜索進行實驗，基因種群隨機生成，然後進行訓練和驗證，選取最好的模型，這種方法的主要好處在於能整個種群并行化計算，減少搜索時間

Implementation

  論文使用異步分佈式進行實現，包含一個controller和多個worker，分別負責基因的進化和測試，兩者共享一個內存表格$\mathcal{M}$，記錄基因及其準確率(fitness)，還有一個數據隊列$\mathcal{Q}$，包含待測試的基因

  當有worker空餘時，controller使用錦標賽選擇從$\mathcal{M}$中選擇一個基因進行突變，然後放到隊列$\mathcal{Q}$中等待測試

  worker從$\mathcal{Q}$中拿到待測試的基因，測試後放到$\mathcal{M}$中，訓練是從頭開始訓練的，沒有使用權值共享加速

Experiments and Results

Experimental Setup

  在實驗中，沒有對整體網絡進行搜索，而是使用提出的方法進行卷積單元(cell)的搜索，這樣能夠在小網絡上快速進行網絡測試然後遷移到較大的網絡。具體的各結構如圖2，每個cell後面接$2c$維度和$stride=2$的$3\times 3$分離卷積，用於升維和降低分辨率，最後一個cell後面接$c$維度和$stride=1$的$3\times 3$分離卷積

Architecture Search on CIFAR-10

  200卡，初始種群為200，層級$L=3$，每層模版的操作分別為$M_1=6$，$M_2=6$和$M_3=1$，每層($\ell \ge2$)的節點圖分別為$|G^{{(2)}|=4$和$|G}{(3)}|=5$，層2的模版跟一個跟模版輸入維度一樣$1\times 1$的卷積來降維。對於用於對比的不分層的搜索方法，則使用11個節點的計算圖。從圖3來看，論文提出的方法在收斂速度、準確率和參數量上都不錯

  為了進一步展示論文方法的效果，對圖3中間的結果的每輪增量進行了可視化。在P100 GPU上，每個網絡的測試需要花費1小時，進化共7000輪，200張卡共需要1.5天

Architecture Evaluation on CIFAR-10 and ImageNet

CONCLUSION

  論文基於層級表達提出高效的進化算法來進行神經網絡結構搜索，通過層層堆疊來構建強大的卷積結構。論文的搜索方法簡單，從實驗結果看來，200張卡共需要1.5天，達到很不錯的準確率，值得學習

 

APPENDIX A

 
 
 

如果本文對你有幫助，麻煩點個贊或在看唄～
更多內容請關注 微信公眾號【曉飛的算法工程筆記】

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※台北網頁設計公司全省服務真心推薦

※想知道最厲害的網頁設計公司"嚨底家"!

※新北清潔公司,居家、辦公、裝潢細清專業服務

※推薦評價好的iphone維修中心

Blazor支持漸進式應用開發也就是PWA。使用PWA模式可以使得web應用有原生應用般的體驗。

什麼是PWA

PWA應用是指那些使用指定技術和標準模式來開發的web應用，這將同時賦予它們web應用和原生應用的特性。
例如，web應用更加易於發現——相比於安裝應用，訪問一個網站顯然更加容易和迅速，並且你可以通過一個鏈接來分享web應用。
在另一方面，原生應用與操作系統可以更加完美的整合，也因此為用戶提供了無縫的用戶體驗。你可以通過安裝應用使得它在離線的狀態下也可以運行，並且相較於使用瀏覽器訪問，用戶也更喜歡通過點擊主頁上的圖標來訪問它們喜愛的應用。
PWA賦予了我們創建同時擁有以上兩種優勢的應用的能力。
這並不是一個新概念——這樣的想法在過去已經在web平台上通過許多方法出現了多次。漸進式增強和響應式設計已經可以讓我們構建對移動端友好的網站。在多年以前的Firefox OS的生態系統中離線運行和安裝web應用已經成為了可能。
PWAs, 不但如此，更是提供了所有的甚至是更多的特性，來讓web更加優秀。

引用自MDN

說人話就是PWA可以讓你的web程序跟一般應用一樣運行，有桌面圖標，能離線，沒有瀏覽器地址欄，一切看起來想個普通的程序/APP。

新建Blazor PWA程序

使用VS新建一個Blazor程序，選擇Webassembly模式，勾選支持PWA。

支持PWA的Blazor程序主要是多了幾個東西：

1. manifest.json
2. service-worker.js

manifest.json

manifest.json是個清單文件，當程序被安裝到設備上的時候會讀取裏面的信息，名稱是什麼，圖標是什麼，什麼語言等等。

{
  "name": "BlazorPWA",
  "short_name": "BlazorPWA",
  "start_url": "./",
  "display": "standalone",
  "background_color": "#ffffff",
  "theme_color": "#03173d",
  "icons": [
    {
      "src": "icon-512.png",
      "type": "image/png",
      "sizes": "512x512"
    }
  ]
}

service-worker.js

service-worker用來跑一些後台任務。它跟瀏覽器主進程是隔離的，也就是說跟原來的JavaScript運行時是分開，當然了它不會阻塞頁面。我們可以用它來完成一些功能，比如對所有的fetch/xhr請求進行過濾，哪些請求走緩存，哪些不走緩存；比如在後台偷偷給你拉一些數據緩存起來。

// Caution! Be sure you understand the caveats before publishing an application with
// offline support. See https://aka.ms/blazor-offline-considerations

self.importScripts('./service-worker-assets.js');
self.addEventListener('install', event => event.waitUntil(onInstall(event)));
self.addEventListener('activate', event => event.waitUntil(onActivate(event)));
self.addEventListener('fetch', event => event.respondWith(onFetch(event)));

const cacheNamePrefix = 'offline-cache-';
const cacheName = `${cacheNamePrefix}${self.assetsManifest.version}`;
const offlineAssetsInclude = [ /\.dll$/, /\.pdb$/, /\.wasm/, /\.html/, /\.js$/, /\.json$/, /\.css$/, /\.woff$/, /\.png$/, /\.jpe?g$/, /\.gif$/, /\.ico$/ ];
const offlineAssetsExclude = [ /^service-worker\.js$/ ];

async function onInstall(event) {
    console.info('Service worker: Install');

    // Fetch and cache all matching items from the assets manifest
    const assetsRequests = self.assetsManifest.assets
        .filter(asset => offlineAssetsInclude.some(pattern => pattern.test(asset.url)))
        .filter(asset => !offlineAssetsExclude.some(pattern => pattern.test(asset.url)))
        .map(asset => new Request(asset.url, { integrity: asset.hash }));
    await caches.open(cacheName).then(cache => cache.addAll(assetsRequests));
}

async function onActivate(event) {
    console.info('Service worker: Activate');

    // Delete unused caches
    const cacheKeys = await caches.keys();
    await Promise.all(cacheKeys
        .filter(key => key.startsWith(cacheNamePrefix) && key !== cacheName)
        .map(key => caches.delete(key)));
}

async function onFetch(event) {
    let cachedResponse = null;
    if (event.request.method === 'GET') {
        // For all navigation requests, try to serve index.html from cache
        // If you need some URLs to be server-rendered, edit the following check to exclude those URLs
        const shouldServeIndexHtml = event.request.mode === 'navigate';

        const request = shouldServeIndexHtml ? 'index.html' : event.request;
        const cache = await caches.open(cacheName);
        cachedResponse = await cache.match(request);
    }

    return cachedResponse || fetch(event.request);
}

項目里有2個service-worker.js文件，一個是開發時候的沒邏輯，還有一個是發布時候的有一些緩存的邏輯。

運行一下

如果是PWA程序，在瀏覽器地址欄有個+號一樣的圖標，點擊可以把程序安裝到本地。

安裝完了會在桌面生成一個圖標，打開會是一個沒有瀏覽器地址欄的界面。

這樣一個PWA程序已經可以運行了。

離線運行

如果只是這樣，僅僅是沒有瀏覽器地址欄，那PWA也太沒什麼吸引力了。個人覺得PWA最大的魅力就是可以離線運行，在沒有網絡的情況下依然可以運行，這樣才像一個原生編寫的程序。

修改service-worker

離線的原理也很簡單，就是請求的數據都緩存起來，一般是緩存Get請求，比如各種頁面圖片等。

// In development, always fetch from the network and do not enable offline support.
// This is because caching would make development more difficult (changes would not
// be reflected on the first load after each change).

self.addEventListener('fetch', event => event.respondWith(onFetch(event)));
self.addEventListener('install', event => event.waitUntil(onInstall(event)));

async function onInstall(event) {
    console.info('Service worker: Install');
}


async function onFetch(event) {
    let cachedResponse = null;
    const cache = await caches.open('blazor_pwa');
    if (event.request.method === 'GET') {
        const request = event.request;
        cachedResponse = await caches.match(request);
        if (cachedResponse) {
            return cachedResponse;
        }
        var resp = await fetch(event.request)
        cache.put(event.request, resp.clone());
        return resp;
    }

    return fetch(event.request);
}

修改一下sevice-worker.js，把GET請求全部緩存起來。這裏為了演示圖方便，其實情況顯然不會這麼簡單粗暴。為了能緩存頁面，顯然必須先在線運行成功一次。

模擬離線

當我們修改完上面的js，然後在線正常一次后，可以看到所有GET請求的資源都被緩存起來了。

我們可以用chrome來模擬離線情況：

選擇offline模式，然後刷新我們的頁面，如果依然可以正常運行則表示可以離線運行。

總結

使用Blazor可以快速的開發PWA應用。利用PWA跟Blazor Webassembly的特性，可以開發出類似桌面的應用程序。或許這是跨平台桌面應用開發除了electron的又一種方案吧。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理
【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※台北網頁設計公司這麼多該如何選擇?

※智慧手機時代的來臨，RWD網頁設計為架站首選

※評比南投搬家公司費用收費行情懶人包大公開

※幫你省時又省力,新北清潔一流服務好口碑

※回頭車貨運收費標準

Transformer

Transformer來自論文: All Attention Is You Need

別人的總結資源：

1. 谷歌官方AI博客: Transformer: A Novel Neural Network Architecture for Language Understanding
2. Attention機制詳解（二）——Self-Attention與Transformer谷歌軟件工程師
3. 放棄幻想，全面擁抱Transformer：自然語言處理三大特徵抽取器（CNN/RNN/TF）比較中科院軟件所 · 自然語言處理 /搜索 10年工作經驗的博士（阿里，微博）；
4. Calvo的博客：Dissecting BERT Part 1: The Encoder，儘管說是解析Bert，但是因為Bert的Encoder就是Transformer，所以其實它是在解析Transformer，裏面舉的例子很好；
5. 再然後可以進階一下，參考哈佛大學NLP研究組寫的“The Annotated Transformer. ”，代碼原理雙管齊下，講得也很清楚。
6. 《Attention is All You Need》淺讀（簡介+代碼）這個總結的角度也很棒。

A High-Level Look

可以將輸入的語言序列轉換成另外一種序列，比如下圖的神經機器翻譯：

Transformer模型由編碼器-解碼器組合組成，解碼器負責對序列進行編碼，提取時間和空間信息，解碼器負責利用時間和空間特徵信息進行上下文預測，下圖是單個結構：

編碼器和解碼器堆棧的組合結構，在谷歌的實驗結構中採用了6個編碼器和6解碼器相對應，使模型的編碼能力和解碼能力達到一個平衡狀態（堆棧式結構）：

編碼器-解碼器的內部結構，類似seq2seq模型：

seq2seq模型：

Encoder: 由6個相同的層組成, 每層包含兩個sub-layers.第一個sub-layer就是multi-head attention layer，然後是一個簡單的全連接層。其中每個sub-layer都加了residual connection（殘差連接）和normalisation（歸一化）。

Decoder: 由6個相同的層組成，這裏的layer包含三個sub-layers, 第一個sub-layer 是masked multi-head attention layer。這裡有個特別點就是masked, 作用就是防止在訓練的時候，使用未來的輸出的單詞。比如訓練時，第一個單詞是不能參考第二個單詞的生成結果的。Masked是在點乘attention操作中加了一個mask的操作，這個操作是保證softmax操作之後不會將非法的values連到attention中，提高泛化性。

Self-Attention at a High Level

假設下面的句子就是我們需要翻譯的輸入句：

”The animal didn’t cross the street because it was too tired”

當模型處理單詞的時候，self attention層可以通過當前單詞去查看其輸入序列中的其他單詞，以此來尋找編碼這個單詞更好的線索。

Self-Attention in Detail

第一步是將輸入的嵌入詞向量通過三個不同的參數矩陣得到三個向量，分別是一個Query向量，一個Key向量和一個Value向量，參數矩陣分別為Wq，Wk，Wv，，如下圖所示：

第二步是通過當前詞的q向量與其他詞的k向量計算當前詞相對於其他詞的得分，分數採用點積進行計算，如下圖所示：

第三步和第四步是講得到的分數除以k值維數的平方根（k值維數為64，可以使訓練過程有更加穩定的梯度，這個歸一化的值是經驗所得），再通過softmax得到每個得分的標準化得分：

第五步是對當前詞所得到的標準化值對所有value向量進行加權求和得到當前詞的attention向量，這樣就使不同單詞的嵌入向量有了attention的參与，從而預測上下文句子的時候體現不同的重要的重要程度。

Matrix Calculation of Self-Attention

• Attendtion向量計算的矩陣形式，通過全職矩陣進行詞向量的計算大大加快了神經網絡的速度

• X矩陣中的每一行對應於輸入句子中的一個單詞。（圖中的4個方框論文中為512個）和q / k / v向量（圖中的3個方框論文中為64個）

公式中濃縮前面步驟2到5來計算self attention層的輸出。

The Beast With Many Heads

使用“Multi-headed”的機制來進一步完善self-attention層。“Multi-headed”主要通過兩個方面改善了Attention層的性能，參數組成和子空間映射：

Many Heads的優缺點：

• 它拓展了模型關注不同位置的能力。Multi head 的每個參數矩陣都會記錄單詞的位置信息，使原來的單個位置信息變得更加複雜。

• 它為attention層提供了多個“representation subspaces”。由下圖可以看到，在self attention中，我們有多個個Query / Key / Value權重矩陣（Transformer使用8個attention heads），使特徵的提取變得更加複雜，而不是作為一個整體的特徵進行，每個單獨的子空間都會進行上下文的信息融合

在8個不同的子空間進行self-attention的操作，每個單詞生成獨立的8個向量

將8個子空間生成的向量壓縮成一個大向量，每個向量的子空間矩陣能夠學習到更多細節，壓縮過程採用一個更大的參數矩陣進行，對multi-head向量進行組合，生成最終的特徵向量。

整體的框圖來表示一下計算的過程：

Representing The Order of The Sequence Using Positional Encoding

其實上面介紹的網絡裏面並沒有考慮序列的位置信息，在RNN中不同時刻的信息是通過遞歸網絡的時間t來刻畫的，有明顯的時間刻度，所以引入了位置向量來解決時間刻度問題。

為了讓模型捕捉到單詞的順序信息，添加位置編碼向量信息（POSITIONAL ENCODING），位置編碼向量不需要訓練，它有一個規則的產生方式，生成與詞嵌入向量有着相同的向量就可以。

通過構造函數sin、cos來對位置進行嵌入，pos為單詞位置信息，而i用來表達dimension 這裏為了好說明，如果2i= dmodel, PE 的函數就是sin(pos/10000)。這樣的sin, cos的函數是可以通過線性關係互相表達的，通過兩個函數對奇偶維度進行編碼。位置編碼的公式如下圖所示：

個人認為選擇正餘弦函數主要是在-1和1之間是一個對稱關係，兩個相鄰的維度編碼相差比較大，在位置上有更好的區分性，1000是序列的長度，一般盡量將取值範圍控制在四分一個周期裏面，這樣會使每一個序列的每一個維度都取唯一的值。

The Residuals

編碼器和解碼器裏面的每一層都採用殘差的思想進行訓練，目的就是為了解決網絡過深情況下的難訓練問題，殘差連接可以將目標值問題轉化成零值問題，一定程度也可以減少網絡的過擬合問題。

使用殘差連接的編碼器內部結構：

使用殘差連接的編碼器-解碼器內部結構：

The Decoder Side

通過自回歸方式進行預測，解碼器每一個時間步輸入一個單詞，然後輸出一個單詞，將預測的單詞作為下一時刻的輸入進行單詞的預測，直到預測結束。

The Final Linear and Softmax Layer

• 線性層是一個簡單的全連接神經網絡，模型一次生成一個輸出，我們可以假設模型從該概率分佈中選擇具有最高概率的單詞並丟棄其餘的單詞。

• 對於最終句子的生成有2個方法：一個是貪婪算法（greedy decoding），一個是波束搜索（beam search）。

Bidirectional Encoder Representation from Transformers

Word Embedding

• 線性模型，主要是對高維空間進行映射，其實是對one-hot向量的空間轉換。

• 通過神經網絡對輸入的詞進行映射，獲取詞向量，一般有cbow和skip-gram兩種方法，此方法訓練的詞向量與上下文無關，並沒有參考位置信息，只是對詞的有無進行參考，採用的是負採樣，預測的時候進行的是一個二分類器，模型認為只要在下文中找出正確的詞就認為是完成了任務。

尚未解決一詞多義等問題。比如多義詞Bank，有兩個常用含義，但是Word Embedding在對bank這個單詞進行編碼的時候，是區分不開這兩個含義的，因為它們儘管上下文環境中出現的單詞不同，但是在用語言模型訓練的時候，不論什麼上下文的句子經過word2vec，都是預測相同的單詞bank，而同一個單詞占的是同一行的參數空間，這導致兩種不同的上下文信息都會編碼到相同的word embedding空間里去。所以word embedding無法區分多義詞的不同語義，這就是它的一個比較嚴重的問題。

Embedding from Language Models（ELMO）

• ElMO採用雙向的LSTM做上下文相關的任務，從前到后和後到前分別做一遍LSTM的encoding操作，從而獲得兩個方向的token聯繫。

• Word Embedding本質上是個靜態的方式，所謂靜態指的是訓練好之後每個單詞的表達就固定住了，以後使用的時候，不論新句子上下文單詞是什麼，這個單詞的Word Embedding不會跟着上下文場景的變化而改變，所以對於比如Bank這個詞，它事先學好的Word Embedding中混合了幾種語義 ，在應用中來了個新句子，即使從上下文中（比如句子包含money等詞）明顯可以看出它代表的是“銀行”的含義，但是對應的Word Embedding內容也不會變，它還是混合了多種語義。

ELMO的本質思想是：

事先用語言模型學好一個單詞的Word Embedding，此時多義詞無法區分，不過這沒關係。在我實際使用Word Embedding的時候，單詞已經具備了特定的上下文了，這個時候我可以根據上下文單詞的語義去調整單詞的Word Embedding表示，這樣經過調整后的Word Embedding更能表達在這個上下文中的具體含義，自然也就解決了多義詞的問題了。所以ELMO本身是個根據當前上下文對Word Embedding動態調整的思路。

一樣的，在具體進行下游任務的時候，採用神經網絡參數微調的方法根據不同的詞的上下文環境對詞向量進行調整，從而得到同一詞的不同向量表示。

缺點：

• LSTM的抽取能力遠遠落後於Transformer，主要是并行計算能力

• 拼接方式融合雙向特徵能力偏弱

Bidirectional Encoder Representation from Transformers

BRET採用兩階段模型，首先是語言模型預訓練；其次是使用Fine-Tuning模式解決下游任務。在預訓練階段採用了類似ELMO的雙向語言模型，雙向指的是對於預測單詞的上文和下文是否參与，如果都參与預測那麼就是雙向，雙向容易導致自己看自己的問題，後面提出mask來解決

經過預訓練的BRET模型，其已經具備了豐富的詞向量特徵信息，然後將此詞向量信息與下游任務進行組合進行NLP下游任務，例如文本生成，文本分類。

如何能夠更好將BRET模型與下游任務進行改造是一個比較複雜的問題，再好的預訓練語言模型都要與下游的任務模型相結合才有好的效果， BRET的優勢在於可以自由根據預訓練模型進行單詞級別的任務和句子級的任務。

BRET模型的創新

就是論文中指出的Masked 語言模型和Next Sentence Prediction。而Masked語言模型上面講了，本質思想其實是CBOW，但是細節方面有改進。

Masked 語言模型：

• 而Masked語言模型上面講了，本質思想其實是CBOW，但是細節方面有改進,掩蓋的同時，要輸出掩蓋的詞的位置，然後用真實詞來預測。
• Mask LM主要是為了增加模型的魯棒性和實際性能，但是在訓練時使用mask過多會影響實際任務的表現，所以做了一些處理：隨機選擇語料中15%的單詞，把它摳掉，也就是用[Mask]掩碼代替原始單詞，然後要求模型去正確預測被摳掉的單詞。但是這裡有個問題：訓練過程大量看到[mask]標記，但是真正後面用的時候是不會有這個標記的，這會引導模型認為輸出是針對[mask]這個標記的，但是實際使用又見不到這個標記，這自然會有問題。為了避免這個問題， BRET改造了一下，15%的被選中要執行[mask]替身這項光榮任務的單詞中，只有80%真正被替換成[mask]標記，10%被狸貓換太子隨機替換成另外一個單詞，10%情況這個單詞還待在原地不做改動。這就是Masked雙向語音模型的具體做法。

Next Sentence Prediction：

• 指的是做語言模型預訓練的時候，分兩種情況選擇兩個句子，一種是選擇語料中真正順序相連的兩個句子；另外一種是第二個句子從語料庫中拋色子，隨機選擇一個拼到第一個句子後面。
• 我們要求模型除了做上述的Masked語言模型任務外，附帶再做個句子關係預測，判斷第二個句子是不是真的是第一個句子的後續句子。之所以這麼做，是考慮到很多NLP任務是句子關係判斷任務，單詞預測粒度的訓練到不了句子關係這個層級，增加這個任務有助於下游句子關係判斷任務。所以可以看到，它的預訓練是個多任務過程。這也是BRET的一個創新，一般用於句級任務。

Transformer&BERT總結

• 首先是兩階段模型，第一階段雙向語言模型預訓練，這裏注意要用雙向而不是單向，第二階段採用具體任務Fine-tuning或者做特徵集成；

• 第二是特徵抽取要用Transformer作為特徵提取器而不是RNN或者CNN；

• 第三，雙向語言模型可以採取CBOW的方法去做（當然我覺得這個是個細節問題，不算太關鍵，前兩個因素比較關鍵）。 BRET最大的亮點在於效果好及普適性強，幾乎所有NLP任務都可以套用BRET這種兩階段解決思路，而且效果應該會有明顯提升。可以預見的是，未來一段時間在NLP應用領域，Transformer將佔據主導地位，而且這種兩階段預訓練方法也會主導各種應用。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※台北網頁設計公司全省服務真心推薦

※想知道最厲害的網頁設計公司"嚨底家"!

※新北清潔公司,居家、辦公、裝潢細清專業服務

※推薦評價好的iphone維修中心