部落格

  • 測試同學動手搭個簡易web開發項目

    測試同學動手搭個簡易web開發項目

    技術棧

    node.js, vue.js, axios, python, django, orm, restful api, djangorestframework, mysql, nginx, jenkins.

    環境配置

    操作系統

    Windows 7 旗艦版,Service Pack 1。

    前端

    Node.js

    >node -v
    v12.18.0
    >npm -v
    6.14.4
    

    Vue.js

    >vue -V(大寫)
    @vue/cli 4.4.1
    

    後端

    Python

    >python --version
    Python 3.7.2
    

    Django

    >python -m django --version
    3.0.7
    

    數據庫

    MySQL

    >mysqladmin --version
    mysqladmin  Ver 8.0.19 for Win64 on x86_64 (MySQL Community Server - GPL)
    

    命令行登錄mysql,

    >mysql -u root -p
    Enter password: ******
    

    查詢數據庫,

    mysql> show databases;
    +--------------------+
    | Database           |
    +--------------------+
    | information_schema |
    | mysql              |
    | new_schema         |
    | performance_schema |
    | sakila             |
    | sys                |
    | world              |
    +--------------------+
    7 rows in set (0.00 sec)
    

    代理

    Nginx

    在nginx安裝目錄執行start nginx,瀏覽器訪問http://localhost:80,

    持續集成

    Jenkins

    安裝后,會自動打開http://localhost:8080/,

    軟件安裝過程就不贅述了,聰明的你一定知道怎麼安。

    項目搭建

    本文的目的是走通整個項目的鏈路,於是會“弱化”掉系統功能的實現。

    創建後端工程

    執行django-admin startproject djangotest創建項目。

    cd djangotest,執行python manage.py startapp myapp創建應用。

    python manage.py runserver,啟動服務,訪問http://localhost:8000/,

    創建RESTful API

    安裝mysqlclient和djangorestframework,

    pip --default-timeout=6000 install -i https://pypi.tuna.tsinghua.edu.cn/simple mysqlclient
    
    pip --default-timeout=6000 install -i https://pypi.tuna.tsinghua.edu.cn/simple djangorestframework
    

    在settings.py中,添加’rest_framework’和’myapp’,

    INSTALLED_APPS = [
        'django.contrib.admin',
        'django.contrib.auth',
        'django.contrib.contenttypes',
        'django.contrib.sessions',
        'django.contrib.messages',
        'django.contrib.staticfiles',
    
        'rest_framework',
    
        'myapp',
    ]
    

    同時修改數據庫配置,

    DATABASES = {
        'default': {
            'ENGINE': 'django.db.backends.mysql',
            'HOST': '127.0.0.1',
            'PORT': 3306,
            'NAME': 'world',
            'USER': 'root',
            'PASSWORD': '123456'
        }
    }
    

    在myapp\models.py添加model,model叫做HellloDjango,有2個字段id和name,

    from django.db import models
    
    # Create your models here.
    
    
    class HelloDjango(models.Model):
        id = models.AutoField(primary_key=True)
        name = models.CharField(null=False, max_length=64, unique=True)
    

    執行python manage.py makemigrations,提交,

    >python manage.py makemigrations
    Migrations for 'myapp':
      myapp\migrations\0001_initial.py
        - Create model HelloDjango
    

    執行python manage.py migrate,創建,

    >python manage.py migrate
    Operations to perform:
      Apply all migrations: admin, auth, contenttypes, myapp, sessions
    Running migrations:
      Applying contenttypes.0001_initial... OK
      Applying auth.0001_initial... OK
      Applying admin.0001_initial... OK
      Applying admin.0002_logentry_remove_auto_add... OK
      Applying admin.0003_logentry_add_action_flag_choices... OK
      Applying contenttypes.0002_remove_content_type_name... OK
      Applying auth.0002_alter_permission_name_max_length... OK
      Applying auth.0003_alter_user_email_max_length... OK
      Applying auth.0004_alter_user_username_opts... OK
      Applying auth.0005_alter_user_last_login_null... OK
      Applying auth.0006_require_contenttypes_0002... OK
      Applying auth.0007_alter_validators_add_error_messages... OK
      Applying auth.0008_alter_user_username_max_length... OK
      Applying auth.0009_alter_user_last_name_max_length... OK
      Applying auth.0010_alter_group_name_max_length... OK
      Applying auth.0011_update_proxy_permissions... OK
      Applying myapp.0001_initial... OK
      Applying sessions.0001_initial... OK
    

    看看數據庫,新增了auth_和django_開頭的表,以及model映射的表myapp_hellodjango,

    mysql> show tables;
    +----------------------------+
    | Tables_in_world            |
    +----------------------------+
    | auth_group                 |
    | auth_group_permissions     |
    | auth_permission            |
    | auth_user                  |
    | auth_user_groups           |
    | auth_user_user_permissions |
    | city                       |
    | country                    |
    | countrylanguage            |
    | django_admin_log           |
    | django_content_type        |
    | django_migrations          |
    | django_session             |
    | myapp_hellodjango          |
    +----------------------------+
    14 rows in set (0.00 sec)
    

    插入2條測試數據,

    mysql> insert into myapp_hellodjango(name) values('hello');
    Query OK, 1 row affected (0.09 sec)
    
    mysql> insert into myapp_hellodjango(name) values('django');
    Query OK, 1 row affected (0.20 sec)
    
    mysql> select * from myapp_hellodjango;
    +----+--------+
    | id | name   |
    +----+--------+
    |  2 | django |
    |  1 | hello  |
    +----+--------+
    2 rows in set (0.00 sec)
    

    照着官網的例子,在myapp目錄下新增urls.py,添加rest代碼,

    from django.conf.urls import url, include
    from rest_framework import routers, serializers, viewsets
    
    from .models import HelloDjango
    
    
    # Serializers define the API representation.
    class HelloSerializer(serializers.HyperlinkedModelSerializer):
        class Meta:
            model = HelloDjango
            fields = ['id', 'name']
    
    
    # ViewSets define the view behavior.
    class HelloViewSet(viewsets.ModelViewSet):
        queryset = HelloDjango.objects.all()
        serializer_class = HelloSerializer
    
    
    # Routers provide an easy way of automatically determining the URL conf.
    router = routers.DefaultRouter()
    router.register(r'hello', HelloViewSet)
    
    urlpatterns = [
        url(r'demo/', include(router.urls)),
    ]
    
    

    在djangotest下的urls.py中添加路由,

    from django.contrib import admin
    from django.urls import path, include
    
    urlpatterns = [
        path('admin/', admin.site.urls),
        path('api/', include('myapp.urls'))
    ]
    

    通過這2個urls.py文件的指定,api接口的路徑為,/api/demo/hello。

    執行python manage.py runserver啟動服務,使用postman來調用http://127.0.0.1:8000/api/demo/hello/。先發1個post請求,往數據庫新增1條數據,

    再發1個get請求,會看到返回了3條數據,2條預先插入的數據,1條post請求新增的數據,

    創建前端工程

    在djangotest根目錄下,執行vue create vuetest,創建vue工程。

    默認安裝,一路回車,啪啪啪。

    開始創建,

    Vue CLI v4.4.1
    a  Creating project in D:\cicd\vuetest.
    a  Initializing git repository...
    aa Installing CLI plugins. This might take a while...
    

    創建成功,

    a  Successfully created project vuetest.
    a  Get started with the following commands:
    
     $ cd vuetest
     $ npm run serve
    

    執行cd vuetestnpm run serve,前端工程就啟動起來了,訪問http://localhost:8080/,Welcome to Your Vue.js App,

    前端調後端接口

    此時djangotest的目錄結構為,

    ├─djangotest
    │  ├─djangotest
    │  ├─myapp  # app
    │  ├─vuetest  # 前端
    │  ├─manage.py
    

    修改vuetest\src\components\HelloWorld.vue,添加{{info}},用來展示後端api返回的數據,

    <div class="hello">
      {{info}}
        <h1>{{ msg }}</h1>
    

    同時在<script>中使用axios添加ajax請求,請求http://127.0.0.1:8000/api/demo/hello/,將response.data賦值給info,

    <script>
    export default {
      name: 'HelloWorld',
      props: {
        msg: String
      },
      data() {
        return {
            info: 123
        }
      },
      mounted () {
        this.$axios
          .get('http://127.0.0.1:8000/api/demo/hello/')
          .then(response => (this.info = response.data))
          .catch(function (error) { // 請求失敗處理
            console.log(error);
          });
      }
    }
    </script>
    

    為了運行起來,需要安裝axios,

    npm install --save axios
    

    並在vuetest\src\main.js中引入,

    import Vue from 'vue'
    import App from './App.vue'
    import axios from 'axios'
    
    Vue.config.productionTip = false
    
    Vue.prototype.$axios = axios;
    
    new Vue({
      render: h => h(App)
    }).$mount('#app')
    

    分別啟動後端和前端服務,

    python manage.py runserver
    
    cd vuetest
    npm run serve
    

    嚯!ajax請求失敗了,F12可以看到報錯信息,

    localhost/:1 Access to XMLHttpRequest at ‘http://127.0.0.1:8000/api/demo/hello/’ from origin ‘http://localhost:8080’ has been blocked by CORS policy: No ‘Access-Control-Allow-Origin’ header is present on the requested resource.

    django的端口是8000,vue的端口是8080,vue在請求django的時候,出現了跨域問題。瀏覽器有個同源策略,域名+端口+協議都相同才認為是同一來源。

    通過配置django來解決,先安裝django-cors-headers,

    pip install django-cors-headers
    

    在settings.py中添加中間件和開關,

    MIDDLEWARE = [
        'django.middleware.security.SecurityMiddleware',
        'django.contrib.sessions.middleware.SessionMiddleware',
        'corsheaders.middleware.CorsMiddleware',  # 添加
        'django.middleware.common.CommonMiddleware',
        'django.middleware.csrf.CsrfViewMiddleware',
        'django.contrib.auth.middleware.AuthenticationMiddleware',
        'django.contrib.messages.middleware.MessageMiddleware',
        'django.middleware.clickjacking.XFrameOptionsMiddleware',
    ]
    
    CORS_ORIGIN_ALLOW_ALL = True  # 添加
    

    此時vue就可以請求到django提供的接口了,http://localhost:8080/

    前後端結合

    vuetest目錄下創建vue.config.js,這是因為django只能識別static目錄下的靜態文件,這裏指定vue生成靜態文件時套一層static目錄,

    module.exports = {
        assetsDir: 'static'
    };
    

    在vuetest目錄下執行npm run build,生成靜態文件到vuetest/dist文件夾。

    修改urls.py,指定django的模板視圖,

    from django.conf.urls import url
    from django.contrib import admin
    from django.urls import path, include
    from django.views.generic import TemplateView
    
    urlpatterns = [
        path('admin/', admin.site.urls),
        path('api/', include('myapp.urls')),
        url(r'^$', TemplateView.as_view(template_name="index.html")),
    ]
    

    在settings.py中配置模板目錄為dist文件夾,

    TEMPLATES = [
        {
            'BACKEND': 'django.template.backends.django.DjangoTemplates',
            'DIRS': ['vuetest/dist'],
            'APP_DIRS': True,
            'OPTIONS': {
                'context_processors': [
                    'django.template.context_processors.debug',
                    'django.template.context_processors.request',
                    'django.contrib.auth.context_processors.auth',
                    'django.contrib.messages.context_processors.messages',
                ],
            },
        },
    ]
    

    指定靜態文件目錄為vuetest/dist/static,

    # Add for vuejs
    STATICFILES_DIRS = [
        os.path.join(BASE_DIR, "vuetest/dist/static"),
    ]
    

    瀏覽器訪問http://localhost:8000/,显示的不再是django的歡迎頁面,而是vue的頁面。

    前後端結合完成。vue的8080可以停了。

    Nginx轉發

    nginx常用3個命令,啟動,重新加載,停止,

    nginx start
    nginx -s reload
    nginx -s stop
    

    修改\conf\nginx.conf,監聽端口改為8090,添加轉發proxy_pass http://localhost:8000;

       server {
            listen       8090;
            server_name  localhost;
    
            #charset koi8-r;
    
            #access_log  logs/host.access.log  main;
    
            location / {
                root   html;
                index  index.html index.htm;
                proxy_pass http://localhost:8000;
            }
    

    執行nginx start,瀏覽器訪問http://localhost:8090/,也能正常訪問djangotest。

    通過nginx將8090轉發到了8000。

    持續集成

    本來想弄個pipline的,無奈家裡這台破機器安裝失敗,windows也沒有linux對jenkins支持好,只能將就做個雞肋版本。

    New Item,命名為vuetest,添加vue的build腳本,

    d:
    cd D:\cicd\djangotest\vuetest
    npm run build
    

    New Item,命名為djangotest,添加django的build腳本,

    d:
    cd D:\cicd\djangotest
    python manage.py runserver
    

    直接執行會報錯python不是可運行命令。添加python環境變量,在首頁左下角,

    把路徑D:\Python37添加為環境變量path並保存,

    建好的這2個job就可以用來編譯vue和啟動django了,

    專註測試,堅持原創,只做精品。歡迎關注公眾號『東方er』
    版權申明:本文為博主原創文章,轉載請保留原文鏈接及作者。

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    新北清潔公司,居家、辦公、裝潢細清專業服務

    ※別再煩惱如何寫文案,掌握八大原則!

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※超省錢租車方案

    ※教你寫出一流的銷售文案?

  • Pytorch入門——手把手帶你配置雲服務器環境

    Pytorch入門——手把手帶你配置雲服務器環境

    本文始發於個人公眾號:TechFlow,原創不易,求個關注

    今天這篇是Pytorch專題第一篇文章。

    大家好,由於我最近自己在學習Pytorch框架的運用,並且也是為了響應許多讀者的需求,推出了這個Pytorch專題。由於這個專題是周末加更的,所以不能保證更新進度,我盡量和其他專題一樣,每周一更。

    Pytorch簡介

    Pytorch底層是Torch框架,Torch框架是一個科學計算框架,擁有一個與Numpy類似的張量操作庫。非常靈活,但是它的語言是Lua,比較小眾,因此沒有廣泛流行。

    後來開發團隊在Torch的基礎上包裝了一層Python的Api,使得我們可以通過Python來進行調用。它是由Facebook的人工智能小組開發維護的,目前在業內也非常流行,尤其是學術界,幾乎清一色的Pytorch。它擁有兩個最大的優點,一個是動態網絡,像是TensorFlow等框架定義出來的神經網絡是靜態的,一旦寫死不能輕易改變。但是Pytorch我們可以零延遲地改變任何神經網絡。第二個有點是具有強大的GPU加速計算的工具,Pytorch的GPU加速非常好用。

    另外Pytorch的語法更加簡潔規範,更加Pythonic,學習曲線也更平穩一些。寫出來的代碼更加容易理解,更適合初學者。

    當然由於誕生的時間還短,並且在工業界的普及度還不如TensorFlow,所以它也有一些短板,比如一些底層的文檔不夠完善,一些功能欠缺等等。在我個人的學習和使用當中,我的體驗非常好,因此如果你沒有學過深度學習的框架的話,推薦使用它作為你的第一門框架。

    雲服務器

    既然是深度學習的框架,那麼最好是能夠擁有GPU環境。但是對於我們大多數人而言,GPU環境並不是一個容易的事情。比如我是Mac黨,本身的機器就沒有N卡,外接也不方便。當然沒有GPU用CPU硬肝也是可以的,不過發熱很嚴重,對電腦也有損傷。所以,最好的辦法就是租借網上的GPU雲服務器或者是雲服務。

    推薦一下滴滴雲服務器,我個人使用下來體驗還不錯,最便宜的只要兩塊多一個小時,應該比網吧上網便宜。最近在搞巨大活動,包年雲GPU只要2200,簡直是白菜價中的白菜價。注意這個優惠只能第一筆下單的時候享受。如果感興趣的話可以訪問鏈接:https://i.didiyun.com/2cvmFVGpCjz

    查看原文

    因為我是特邀用戶,所以我拿到了內部優惠的大師碼,如果要購買其他GPU雲服務器的話,可以在付款的時候輸入我的大師碼2323,可以再享受9折優惠。

    當然你也可以購買裝好環境的Notebook,或者是按照時常購買。Notebook好處是預裝了各種環境,上手可用,但是缺點是不支持定製化,一些操作不太方便。畢竟有了雲服務器可以自己搭建Notebook,但是Notebook並不支持服務器的功能。

    如果你想要使用其他雲服務器平台,可以查看我之前的文章

    想要學深度學習但是沒有GPU?我幫你找了一些不錯的平台

    環境配置

    為了防止一些小白租借了機器不會用,接下來提供一下配置環境的詳細教程(基於滴滴雲)。如果你用的別家的服務器,由於環境不一定完全相同,所以可能並不一定適用,只能當做參考。

    總之我們整個流程是:安裝Python3,安裝jupyter,配置jupyter遠程訪問,安裝Pytorch

    這些是明面上的流程,如果機器環境不健全,還會有一些隱藏流程。比如說普通的Linux環境需要配置apt-get,還需要下載git,wget等常用工具。如果沒有cuda驅動的話,還需要自己安裝cuda配置。如果其中的步驟出現了問題,還需要分析問題的原因解決問題。所以說配置環境說起來簡單,但是實際操作的時候問題並不少。

    安裝Python3

    yum install python36
    

    安裝 jupyter notebook

    sudo pip3 install ipython jupyter notebook lab
    

    設置jupyter的密碼

    jupyter notebook password
    

    生成jupyter notebook的配置,這個配置默認不存在,需要我們通過這個命令來生成。

    jupyter notebook --generate-config
    

    運行之後,會返回配置文件所在的路徑:

    我們用vim打開,修改其中的幾行:

    c.NotebookApp.ip='0.0.0.0'
    c.NotebookApp.open_browser = False
    c.NotebookApp.port =8888 # 可以自己指定
    

    我們需要將本地的端口和遠程進行綁定,這樣我們就可以在本地打開遠程的jupyter了。這一行代碼當中我們將本地的8899綁定了遠程的8888端口。這裏的8888端口就是上面配置當中的遠程的jupyter端口。

    ssh dc2-user@116.85.10.225 -L 127.0.0.1:8899:127.0.0.1:8888
    

    如果你喜歡的話,還可以安裝一下jupyter lab

    sudo pip3 install jupyterlab
    

    使用方法和notebook類似,在遠程執行命令開啟jupyter

    jupyter lab --allow-root
    

    啟動沒有問題的話,我們在本地訪問:http://localhost:8899就可以打開Jupyter,輸入密碼之後就可以使用了。

    當我們用完了雲服務器之後,要記得刪除機器。但由於平台機器數量有限,根據當前平台的設置,關機之後依然會為用戶保留資源,但是前提是需要付費。如果你是按時租的服務器顯然不能接受自己沒在使用還需要付費。針對這個問題,我們可以通過快照來解決。我們在關機之前先創建快照

    然後刪除雲服務器,下次重新創建服務器的時候選擇從快照創建。這樣下次創建的機器還可以保留當前的配置和數據,而且也不需要扣費了。如果你嫌麻煩的話,還可以加我的微信聯繫我,我幫你找到工作人員加入關機免扣費的白名單

    我們用pip安裝一下Pytorch和一些其他需要用到的包。安裝好了,之後,我們通過torch.cuda.is_avaiable()查看一下cuda的情況,如果輸出是True,那說明已經安裝好了。

    tensor

    Pytorch當中很重要的一個概念就是tensor,它直譯過來是張量,TensorFlow當中的tensor也是這個意思。我們可以認為tensor是一個高維的數組。當它是0維的時候就是一個數,一個標量。當它是一維的時候就是一個向量,二維的時候是一個矩陣,多維的時候是高維的數組。它和Numpy當中的數組類似,不過Tensor可以使用GPU進行加速。

    我們通過torch當中的接口來初始化tensor,和Numpy當中的數組類似,它支持好幾種初始化的方式。

    empty函數創建一個指定大小的未初始化的tensor,當中的元素內容是不可保證的。

    rand創建一個隨機初始化的數組:

    ones和zeros創建全是0或者全是1的數組:

    我們可以傳入類型指定元素的類型

    我們也可以通過現成的數組創建tensor:

    這些創建函數都有對應的like方法,可以傳入一個已有的tensor,創建出一個和它一樣大小的新的tensor來。

    這裏只是列舉了常用的幾種,官方的api當中還有其他的幾種創建tensor的方式:

    除此之外,tensor還支持從numpy的數組當中創建,我們可以利用from_numpy函數來實現:

    同理,我們也可以通過numpy函數,從一個tensor得到numpy的數組:

    還可以通過tolist方法將tensor轉化成Python的數組:

    函數 功能
    Tensor(*sizes) 基礎構造函數
    tensor(data,) 類似np.array的構造函數
    ones(*sizes) 全1Tensor
    zeros(*sizes) 全0Tensor
    eye(*sizes) 對角線為1,其他為0
    arange(s,e,step) 從s到e,步長為step
    linspace(s,e,steps) 從s到e,均勻切分成steps份
    rand/randn(*sizes) 均勻/標準分佈
    normal(mean,std)/uniform(from,to) 正態分佈/均勻分佈
    randperm(m) 隨機排列

    我們在創建tensor的時候不僅可以指定它們的類型,還可以指定它們存放的設備。比如是CPU還是GPU。當然前期我們暫時用不到這點,只需要記得即可。

    總結

    這是Pytorch的第一篇文章,我們簡單了解了一下這個框架,以及它當中tensor這個數據結構。簡單來說,我們可以用常用的Numpy去類比它。基本上Numpy當中有的功能它都有,它還有一些自己特性Numpy沒有的api。但不管怎麼說,萬變不離其宗,tensor的用處就是為了方便我們處理數據的

    關於Pytorch中tensor的用法還有很多,實在是沒有辦法在一篇文章當中窮盡,所以這裏只是簡單介紹,具體的用法將會放在下一篇文章當中,讓我們下周再見吧。

    如果喜歡本文,可以的話,請點個關注,給我一點鼓勵,也方便獲取更多文章。

    本文使用 mdnice 排版

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※教你寫出一流的銷售文案?

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※回頭車貨運收費標準

    ※別再煩惱如何寫文案,掌握八大原則!

    ※超省錢租車方案

  • MySQL按指定字符合併及拆分

    MySQL按指定字符合併及拆分

    按照指定字符進行合併或拆分是經常碰到的場景,MySQL在合併的寫法上比較簡單,但是按指定字符拆分相對比較麻煩一點(也就是要多寫一些字符)。本文將舉例演示如何進行按照指定字符合併及拆分。

    1、 合併

    MySQL數據庫中按照指定字符合併可以直接用group_concat來實現。

    創建測試表

    mysql> create table  tb_group(id int auto_increment primary key ,col1 varchar(20));
    Query OK, 0 rows affected (0.01 sec)

    插入測試數據

    mysql> insert into  tb_group(col1) values('a'),('c'),('dddd'),('ewdw'),('vxgdh');;
    Query OK, 5 rows affected (0.01 sec)
    Records: 5  Duplicates: 0  Warnings: 0

    合併col1字段的內容

    默認是按照逗號進行合併的,例如:

    mysql> select group_concat(col1) from tb_group; 
    +---------------------+
    | group_concat(col1)  |
    +---------------------+
    | a,c,dddd,ewdw,vxgdh |
    +---------------------+
    1 row in set (0.01 sec)

    指定分隔符合併,例如指定使用 ||  符號進行合併

    mysql> select group_concat(col1,'||') from tb_group; 
    +-------------------------------+
    | group_concat(col1,'||')       |
    +-------------------------------+
    | a||,c||,dddd||,ewdw||,vxgdh|| |
    +-------------------------------+
    1 row in set (0.00 sec)

    注意

    默認情況下,合併后的長度不能超過1024,否則結果會被截斷

    例如,我再寫個腳本插入一些數據

    #  使用shell腳本來實現
    vim  test_insert.sh
    #   添加如下內容 
    
    #!/bin/bash
    # gjc
    
    for i in  {1..1025}
    do
        mysql -uroot -p'123456' --socket=/data/mysql3306/tmp/mysql.sock  -e "insert into testdb.tb_group1(col1)values('a') "
    done
    
    #  運行腳本插入數據 
    sh test_insert.sh
    mysql> select  count(*)from tb_group;
    +----------+
    | count(*) |
    +----------+
    |     1030 |
    +----------+
    1 row in set (0.00 sec)

    再進行合併

    mysql> select group_concat(col1)cols, length(group_concat(col1)) col_len from tb_group\G
    *************************** 1. row ***************************
       cols: a,c,dddd,ewdw,vxgdh,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,
    col_len: 1024
    1 row in set, 2 warnings (0.01 sec)

    可以看出,結果中總長度字節只有1024

    對於這種情況,實際使用時肯定是不滿足的,如何解決呢?其實此長度與MySQL數據庫的group_concat_max_len參數有直接關係(默認為1024)

    mysql> show global variables like 'group_concat_max_len';
    +----------------------+-------+
    | Variable_name        | Value |
    +----------------------+-------+
    | group_concat_max_len | 1024  |
    +----------------------+-------+
    1 row in set (0.08 sec)

    那我們調整一下參數看看

    /* 修改全局參數,這樣所有的新連接都會生效 */
    mysql> set  global group_concat_max_len=102400;
    Query OK, 0 rows affected (0.01 sec)
    
    /* 修改本會話參數,這樣當前連接不用退出也可以生效 */
    mysql> set  session  group_concat_max_len=102400;
    Query OK, 0 rows affected (0.00 sec)
    
    mysql> show global variables like 'group_concat_max_len';
    +----------------------+--------+
    | Variable_name        | Value  |
    +----------------------+--------+
    | group_concat_max_len | 102400 |
    +----------------------+--------+
    1 row in set (0.00 sec)
    
    mysql> show  variables like 'group_concat_max_len';
    +----------------------+--------+
    | Variable_name        | Value  |
    +----------------------+--------+
    | group_concat_max_len | 102400 |
    +----------------------+--------+
    1 row in set (0.01 sec)

    再合併一下看看

    mysql> select group_concat(col1)cols, length(group_concat(col1)) col_len from tb_group\G
    *************************** 1. row ***************************
       cols: a,c,dddd,ewdw,vxgdh,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a,a
    col_len: 2069
    1 row in set (0.01 sec)

    這樣結果就對了。因此生產環境中 該參數建議調整為合適的大小。

    (Tips:Oracle數據庫中可以使用listagg或wm_concat等多種方式實現,也比較簡單,可以自行測試)

    2、 拆分

    按指定字符拆分字符串,也是比較常見的場景。但是MySQL數據庫中字符串的拆分沒有其他數據庫那麼方便(其他數據庫直接有拆分函數),且需要藉助mysql庫中的mysql.help_topic表來輔助實現。例子如下:

    創建測試表及數據

    mysql> create table tb_split(id int primary key auto_increment,col1 varchar(20));
    Query OK, 0 rows affected (0.01 sec)
    
    mysql> insert into  tb_split(col1) values('a,b,c,d'),('c,a,g,h');
    Query OK, 2 rows affected (0.01 sec)
    Records: 2  Duplicates: 0  Warnings: 0

    按照逗號拆分

    mysql> SELECT a.id, substring_index(substring_index(a.col1, ',', b.help_topic_id + 1), ',',- 1) NAME  

    FROM tb_split a JOIN mysql.help_topic b

    ON b.help_topic_id < (length(a.col1) - length(REPLACE(a.col1, ',', '')) + 1); +----+------+ | id | NAME | +----+------+ | 1 | a | | 1 | b | | 1 | c | | 1 | d | | 2 | c | | 2 | a | | 2 | g | | 2 | h | +----+------+ 8 rows in set (0.00 sec)

    這樣也就實現了拆分。

    按指定字符拆分

    如果是其他分隔符的,修改瑞陽的分隔符字段即可。

    mysql> insert into  tb_split(col1) values('a|v|f');
    Query OK, 1 row affected (0.00 sec)
    
    mysql> select  * from tb_split;
    +----+---------+
    | id | col1    |
    +----+---------+
    |  1 | a,b,c,d |
    |  2 | c,a,g,h |
    |  3 | a|v|f   |
    +----+---------+
    3 rows in set (0.01 sec)
    
    mysql> SELECT a.id, substring_index(substring_index(a.col1, '|', b.help_topic_id + 1), '|',- 1) col_split  FROM tb_split a JOIN mysql.help_topic b ON b.help_topic_id < (length(a.col1) - length(REPLACE(a.col1, '|', '')) + 1) where a.id=3;
    +----+-----------+
    | id | col_split |
    +----+-----------+
    |  3 | a         |
    |  3 | v         |
    |  3 | f         |
    +----+-----------+
    3 rows in set (0.00 sec)

    這樣就完成按照指定字符的合併及拆分了。

    3、 結語

    本文介紹了MySQL常用的合併及拆分方法,對於擅長寫SQL的同學也可以使用其他方式實現,以便解決權限不足(例如拆分時需要使用mysql庫的help_topic表的權限)等情況下的需求。

    想了解更多內容或參与技術交流可以關注微信公眾號【數據庫乾貨鋪】或進技術交流群溝通。

     

    本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※超省錢租車方案

    ※別再煩惱如何寫文案,掌握八大原則!

    ※回頭車貨運收費標準

    ※教你寫出一流的銷售文案?

  • 2015年京津冀公共服務新能源車將達20222輛

    22日,中國工信部、發改委及科技部等七部委聯合印發《京津冀公交等公共服務領域新能源汽車推廣工作方案》,提出2014年到2015年,京津冀地區公共交通服務領域共推廣20,222輛新能源汽車。其中北京市8,507輛,天津市6,000輛,河北省5,715輛,京津冀地區公交車中新能源汽車到2015年底比例不低於16%,京津出租車中新能源汽車比例不低於5%。   2014年到2015年,京津冀地區共新建充/換電站94座,充電樁新增1.62萬個。到2015年底,京津冀地區充換電站總數將達到112座,充電樁總數將達到19,657個,基本建成以保障運行為前提,建設規模適度超前的充電設施網絡。

    本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※帶您來了解什麼是 USB CONNECTOR  ?

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    ※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!

    ※綠能、環保無空污,成為電動車最新代名詞,目前市場使用率逐漸普及化

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※教你寫出一流的銷售文案?

  • 新物種!泰國發現巨大「鯊齒龍」 位居食物鏈頂端

    摘錄自2019年10月11日自由時報報導

    由泰國、日本大學合力進行的研究,在泰國發現一種具有鯊狀齒的大型肉食性恐龍,長逾8公尺,是同一時期已知最大體型的掠食性恐龍。

    這份研究由泰國NRRU大學及日本福井縣立大學的研究人員合作進行,9日發表於,研究人員表示,從泰國出土、帶有鯊魚狀牙齒的掠食性恐龍被證實是前所未見的新物種,生存於1.15億年前的下白堊紀,並獲命名為「Siamraptor suwati」。

    研究報告指出,在這次考古研究中,科學家發現的化石至少來自4隻不同恐龍的個別部位,其中包括頭骨、齒骨、脊椎、尾部及四肢,推測其行進時以後二肢站立,前足則負責抓扣、撕扯。

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※為什麼 USB CONNECTOR 是電子產業重要的元件?

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※台北網頁設計公司全省服務真心推薦

    ※想知道最厲害的網頁設計公司"嚨底家"!

    新北清潔公司,居家、辦公、裝潢細清專業服務

    ※推薦評價好的iphone維修中心

  • 大數據:全球1/3碳排放 來自這20間公司

    環境資訊中心綜合外電;姜唯 編譯;林大利 審校

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

    台北網頁設計公司這麼多該如何選擇?

    ※智慧手機時代的來臨,RWD網頁設計為架站首選

    ※評比南投搬家公司費用收費行情懶人包大公開

    ※幫你省時又省力,新北清潔一流服務好口碑

    ※回頭車貨運收費標準

  • 菲南民答那峨島規模6.3強震

    摘錄自2019年10月17日中央社報導

    菲律賓南部民答那峨島北可塔巴托省(North Cotabato)杜路南鎮(Tulunan)東南方約22公里處,16日7時37分發晚間發生規模6.3強震,震源深度僅15公里,附近省份都感受到地震震波。已知造成2人死亡,至少20多人受傷。ABS-CBN新聞網報導,根據菲律賓火山暨地震研究所(Phivolcs)資訊,這起地震沒有海嘯風險。美國地質研究所測得地震規模為6.4。

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

    南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!

    ※教你寫出一流的銷售文案?

    ※超省錢租車方案

  • 自來水源遭廢油污染 河內數十萬戶受影響

    摘錄自2019年10月16日中央社報導

    河內市若干區域民眾10日起發現自來水有異味,主管單位獲報後取樣送驗,相關單位隨後查出自來水水源上游小溪被歹徒偷倒廢油,使水質受污染。目擊者說,8日看到一輛貨車在小溪偷倒廢油,當地翌日下大雨,大量廢油流出大河,再往下游流去。

    河內市政府15日公布自來水檢驗結果,水中苯乙烯(Styrene)含量超標1.3倍至3.65倍,是水源廢油污染所致,勸告民眾停止飲用遭污染自來水,指示相關單位安排水罐車免費供水給受影響社區民眾。

    事件影響當地數十萬戶居民,由於自來水供應商和主管單位對此事處理進度緩慢,引起民眾激烈反應。

     

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※Google地圖已可更新顯示潭子電動車充電站設置地點!!

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※別再煩惱如何寫文案,掌握八大原則!

    【其他文章推薦】

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

    南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!

    ※教你寫出一流的銷售文案?

    ※超省錢租車方案

  • 歐盟執委會副主席被提名人 力挺2030碳排降50%目標

    環境資訊中心綜合外電;姜唯 編譯;林大利 審校

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

    ※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    南投搬家公司費用需注意的眉眉角角,別等搬了再說!

    新北清潔公司,居家、辦公、裝潢細清專業服務

    ※教你寫出一流的銷售文案?

  • 稻米進口米價暴跌 菲農民世界糧食日上街抗議

    摘錄自2019年10月16日中央社報導

    菲律賓總統杜特蒂(Rodrigo Duterte)2月簽署稻米關稅法,取消稻米進口數量限制,允許民間貿易商選擇國家進口稻米,盼藉此改善國內稻米供應情形,降低市場價格。

    但在16日世界糧食日這一天,菲律賓農民運動(KMP)、全國務農婦女聯盟(Amihan)和守護稻米(Bantay Bigas)等農民組織率領10多名農民,帶著全空的鍋瓢到農業部前抗議稻米關稅法讓農民無米可下鍋。他們表示稻米關稅法(RTL)實施後,越南、泰國的廉價稻米進口使菲律賓米價暴跌,嚴重影響農民生計。

    菲律賓農民運動主席、農業改革部(DAR)前部長馬利安諾(Rafael Mariano)說,稻米關稅法實施後,「世界糧食日」在菲律賓已變成「世界無糧食日」。

    因應米價暴跌和農民訴求,馬尼拉當局正研議對進口稻米設定建議零售價。與此同時,「守護稻米」和婦女組織「嘉布瑞拉」(Gabriela)也發起連署,預計11月把連署書呈交參眾兩院議員,希望促成廢除稻米關稅法。

    本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

    【其他文章推薦】

    ※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

    網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

    ※想知道最厲害的網頁設計公司"嚨底家"!

    ※幫你省時又省力,新北清潔一流服務好口碑

    ※別再煩惱如何寫文案,掌握八大原則!