[OpenR8 解決方案] Image_PCB_SSD512_Caffe (影像分析使用 SSD 512 演算法及 Caffe 函式庫進行 PCB 物件偵測)

一、Image_PCB_SSD512_Caffe

 

此 Image_PCB_SSD512_Caffe 是在深度學習 Caffe 的框架下,先使用 SSD (Single Shot MultiBox Detector) 演算法來訓練模型,再透過已訓練好的模型偵測 PCB 上面的電容,本次訓練圖片大小為 512 × 512。

主要流程如下圖1。

首先,我們需準備想要讓模型學習的影像,將影像中的目標框選起來,且將框選的框標記是什麼類別,此目的是為了讓模型知道這個影像中框起來的物件是屬於何物。

接著透過一系列的 flow 檔案,產生兩個 txt 清單檔,以此讓模型知道有哪些檔案是要進行訓練測試,以及這些檔案中是分成哪幾種類別,再執行 flow 檔對兩個 txt 清單檔訓練,訓練完成後依據想測試影像選擇不同的 flow 檔測試。

 

圖1.SSD 偵測電容流程.png

圖1.SSD 偵測電容流程。

 

 

二、步驟一:前置處理-感興趣區域標記

 

圖1.1SSD 偵測電容流程.png

 

  1. 目的:

準備框選標記感興趣的區域。

 

  1. 內容介紹:

在圖像中框選想要讓模型學習的物件。例如:想要讓模型學習電容就準備電容的圖片,再將影像中的電容框選起來、標記為電容。如此一來,模型才會知道這個圖片框起來的區域就是電容。以此類推,想要讓模型學習什麼東西,就準備好圖片與框選好做標記。

因此我們所需準備的檔案包含以下兩項

  1. 圖像 (想要讓模型學習的影像、想要測試模型準確度的影像)
  2. 標記圖像目標位置的 xml 檔案 (框選後,會自動產生的檔案)

 

  1. 範例:

在此 Image_PCB_SSD512_Caffe 方案範例中:

偵測 PCB 中的電容,我們透過 labelImg.exe (下圖2) 將PCB影像中的目標電容框選標記,如下圖3紅框是框選電容以及將其標記成 capacitor (電容) 的類別。標記完,儲存時會自動產生 .xml 檔案。

請將影像放置指定資料夾位置。如下圖4

【訓練】

影像請放置 openR8/solution/Image_PCB_SSD512_Caffe/data/train_image

xml請放置 openR8/solution/Image_PCB_SSD512_Caffe/data/train_annotation

【測試】

影像請放置 openR8/solution/Image_PCB_SSD512_Caffe/data/test_image

xml請放置 openR8/solution/Image_PCB_SSD512_Caffe/data/test_annotation

 

  1. 補充說明:

標記的軟體 labelImg.exe 已隨 OpenR8 檔案附上,其檔案路徑為openR8 > solution > Image_PCB_SSD512_Caffe > labelImg.exe,如下圖2,其使用方法可參考開源機器人俱樂部 [ezAI 簡單學 AI] labelImg 使用方法 (Windows 版本)

 

圖2.標籤工具所在位置.png

圖2.標籤工具所在位置。

 

圖3.標記影像中的目標物件.png

圖3.標記影像中的目標物件。

 

圖4.訓練樣本資料夾之標籤完之影像與 xml 檔案放置位置.png

圖4.訓練樣本資料夾之標籤完之影像與 xml 檔案放置位置。

 

 

三、步驟二:前置處理- 建立檔案位置的 txt 檔

 

圖4.1訓練樣本資料夾之標籤完之影像與 xml 檔案放置位置.png

 

  1. 目的:

​定義訓練和測試的影像與其標記的位置。

 

  1. 使用方法:
    1. 點選 R8.exe開啟 “1_prepare_train_txt.flow” 。

圖5.R8.exe 所在位置.png

圖5.R8.exe 所在位置。

 

圖6.開啟 1_prepare_train_txt.flow.png

圖6.開啟 1_prepare_train_txt.flow 。

 

  1. 確認下方敘述之訓練樣本與標記檔的檔案路徑,確認完畢後,即可按下執行,產生 train.txt,出現『Press any key to continue . . .』,表示成功產生 train.txt。

目前訓練樣本的路徑固定放置於 solution/Image_PCB_SSD512_Caffe/data/ train_image 之中

目前訓練樣本標記檔的路徑固定放置於 solution/Image_PCB_SSD512_Caffe/data/ train_annotation之中

【train.txt】產生的位置為 openR8/solution/Image_PCB_SSD512_Caffe/data/ train.txt

 

圖7.1_prepare_train_txt.flow 產生 train.txt的運行結果.png

圖7.1_prepare_train_txt.flow 產生 train.txt的運行結果。

 

  1. 點選 R8.exe開啟 “2_prepare_test_txt.flow” 。

 

圖8.開啟 2_prepare_test_txt.flow.png

圖8.開啟 2_prepare_test_txt.flow。

 

  1. 確認下方敘述之測試樣本、測試標記檔的位置,確認完畢後即可按下執行,產生 test.txt,出現『Press any key to continue . . .』,表示成功產生 test.txt。

目前測試樣本的路徑固定放置於 solution/Image_PCB_SSD512_Caffe/data/test_image 之中

目前測試樣本標記檔的路徑固定放置於 solution/Image_PCB_SSD512_Caffe/data/ test_annotation之中

 

圖9.2_prepare_test_txt.flow 產生 test.txt的運行結果.png

圖9.2_prepare_test_txt.flow 產生 test.txt的運行結果。

 

圖10.train.txt 與 test.txt 的所在位置.png

圖10.train.txt 與 test.txt 的所在位置。

 

圖11.train.txt 的內容示意圖.png

圖11.train.txt 的內容示意圖。

 

圖12.test.txt 的內容示意圖.png

圖12.test.txt 的內容示意圖。

 

 

四、步驟三:前置處理- 建立標籤類別 txt 檔

 

 圖12.1test.txt 的內容示意圖.png

 

  1. 目的:

上個步驟是建立檔案清單,來跟模型說哪些檔案是要進行訓練、測試。

接著要建立類別 txt,此目的是跟模型說我們這些資料要分成哪幾種類別,藉此讓模型可自行學習將影像進行偵測分類。

 

  1. 內容介紹:

 請在 openR8/solution/Image_PCB_SSD512_Caffe/data 路徑下面建立【labelmap.prototxt】檔案。檔案內容格式如下:

item {

           name: "none_of_the_above"

           label: 0

           display_name: "background"

       }

item {

           name: "類別標籤名字"

            label: 1

           display_name: "顯示此類別的名字"

 }

     ......

item {

          name: "類別標籤名字"

          label: n

          display_name: "顯示此類別的名字"

 }

請注意:上述的【name】【display_name】請務必與【標記感興趣區域標記】的xml 之類別名稱、數量相符合。舉例:標記時,分成貓、狗兩類,那麼上述的【name】【display_name】務必與標記貓、狗的類別命名一致,如圖13

 

圖13.範例的 labelmap.prototxt.png

圖13.範例的 labelmap.prototxt。

 

  1. 範例:

目前 OpenR8 資料夾內的 Image_PCB_SSD512_Caffe 範例 labelmap.prototxt 已建好,如下文字敘述。

在 openR8/solution/Image_PCB_SSD512_Caffe/data 資料夾中,可以看到 labelmap.prototxt,可透由 notepad++ 或記事本開啟檔案。如下圖14

檔案內容如下圖15,可以看出我們將影像分類成 none_of_the_above (以上皆非) 以及 capacitor1 (電容1)、capacitor2 (電容2)、capacitor3 (電容3) 四類,其中個別 label 編號為 0 、 1 、2 、 3。

 

圖14.labelmap.prototxt 檔案路徑.png

圖14.labelmap.prototxt 檔案路徑。

 

圖15.labelmap.prototxt 內容示意圖.png

圖15.labelmap.prototxt 內容示意圖。 

 

 

五、步驟四:前置處理- annoset_to_lmdb

 

圖15.1labelmap.prototxt 內容示意圖.png

此步驟為將上面兩步驟已定義好的 txt 轉成後續訓練/測試模型所需的 lmdb 檔案。

 

  1. 開啟 annoset_to_lmdb flow 檔案

請【滑鼠雙擊 R8.exe】=>點選【檔案】=>【開啟】=>【OpenR8 > solution 下的 Image_PCB_SSD512_Caffe】=> 【3_annoset_to_lmdb.flow】。示意圖如下圖16圖17圖18圖19

對於開啟軟體至載入解決方案有任何疑問可參閱【OpenR8 操作手冊】

 

圖16.R8..png

圖16.R8.exe。

 

圖17.檔案開啟.png

圖17.檔案開啟。

 

圖18.選擇 Image_PCB_SSD512_Caffe 資料夾的 3_annoset_to_lmdb.flow.png

圖18.選擇 Image_PCB_SSD512_Caffe 資料夾的 3_annoset_to_lmdb.flow。

 

圖19.載入 3_annoset_to_lmdb.flow.png

圖19.載入 3_annoset_to_lmdb.flow。

 

 

  1. 執行 annoset_to_lmdb 流程檔案

 

參數確認後,請點選執行。如果存在舊的 lmdb 檔案,會跳出是否移除,請點選【是 ( Y ) 】,如下圖20

執行完成後,會產生 train_lmdb 與 test_lmdb。如下圖21圖22

 

圖23.刪除 lmdb 檔.png

圖20.刪除 lmdb 檔。

 

圖24.執行完成.png

圖21.執行完成。

 

圖25.產生 train_lmdb 與 test_lmdb.png

圖22.產生 train_lmdb 與 test_lmdb。

 

annoset_to_lmdb 流程檔案參數說明

 

圖20.輸入檔案 左 轉成輸出檔案 右 .png

圖23.輸入檔案(左)轉成輸出檔案(右)。

 

此項為設定輸入檔案的路徑與輸出 lmdb 的路徑,其檔案的項目如上圖23。參數路徑已預設好,可直接跳至 3. 直接執行。

以下為此 flow 檔案之每個流程順序介紹,由上至下有分別為:

  • Caffe_初始化 : Caffe 框架初始化。
  • 檔案_刪除資料夾(圖24):當資料夾中存在舊的 lmdb 檔案資料夾,在開始產生新 lmdb 之前,需先將舊的檔案移除。(訓練用)

如下圖,流程區域點選【檔案_刪除資料夾】出現變數列表,函式列表出現該流程的參數,點擊【資料夾名稱(字串)】的編輯,此資料夾名稱的變數及顯示在變數區,此區域的【值】,【data/train_lmdb/】即為 lmdb 的資料夾。

 

圖21.檔案_刪除資料夾.png

圖24.檔案_刪除資料夾。

 

  • Caffe_物件偵測_創建訓練檔案(圖25):產生 lmdb 檔案。(訓練用)

 

圖22.Caffe_物件偵測_創建訓練檔案.png

圖25.Caffe_物件偵測_創建訓練檔案。

 

  • 下面最後兩個【檔案_刪除資料夾】與【Caffe_物件偵測_創建訓練檔案】:為產生測試模型用的 lmdb,設定方式如上述產生訓練的 lmdb。

 

六、步驟五:訓練模型- train

 

 圖25.1產生 train_lmdb 與 test_lmdb.png

 

介紹主要分兩部分,第一點先介紹如何開始做訓練,接著如果有興趣知道每一個流程方塊可觀看第二點之介紹此流程的詳細內容。

 

  1. 前置準備資料完成後,開始訓練模型。

首先,使用 OpenR8【開啟 4_train】檔案,載入 4_train,如下圖26圖27

接著,確認電腦是否支援 GPU 加速(沒有支援 GPU 加速時,請到 【Caffe_訓練】 的 GPU 欄位,將值從【all】改為【】),按下【執行】開始訓練模型,此步驟需花一點時間等待程式建立模型。如下圖28

當此執行完成後會產生訓練好的模型,其模型檔案生成放置,如下圖29

路徑 : OpenR8/solution/Image_PCB_SSD512_Caffe/data/

檔案名稱 1:xxx.caffemodel

檔案名稱 2:xxx. solverstate

 

圖26.4_train 檔案路徑.png

圖26.4_train 檔案路徑。

 

圖27.開啟 4_train.png

圖27.開啟 4_train。

 

圖28.執行 4_train 與其執行過程圖.png

圖28.執行 4_train 與其執行過程圖。

 

圖29.訓練完產生模型.png

圖29.訓練完產生模型。

 

  1. 2_train 流程介紹:

 

  • Caffe_ 初始化 : Caffe 框架初始化。
  • Caffe_ 訓練:

【CaffeObject】接續前面初始化的設定。

GPU】用來訓練模型的裝置是否需使用 GPU 加速,如果是請將值改為 all;反之,請填空值。(如果填入 all,請確認裝置是否有 GPU)

SolverPath】主要參數。此為 Caffe 訓練所需要的輸入檔 solver.prototxt,檔案內容包含訓練迭代的次數、訓練的參數以及樣本的清單等。如下圖30圖31。

continueTrainModelPath】接續之前訓練好的模型繼續訓練。將值填入欲接續訓練的模型路徑,模型副檔名務必為  .caffemodel。

 

圖30.4_train 流程之 caffe_訓練.png

圖30.4_train 流程之 caffe_訓練。

 

圖31.solver.prototxt 內容示意圖.png

圖31.solver.prototxt 內容示意圖。

 

  

七、步驟六:測試已訓練好的模型- inference_image

 

圖31.1solver.prototxt 內容示意圖.png

當模型已訓練好後,可以藉由這一個步驟測試訓練出來的模型。

先使用 OpenR8 開啟【7_inference】,載入檔案。如下圖32圖33

  1. 測試流程
  • 選擇欲測試的影像,如下圖34

更換選擇的影像(capacitor2-4.png),如下圖37,顯示為 capacitor2-4.png 的偵測結果。

  • 確認電腦是否支援 GPU 加速。點選【Caffe_物件偵測_讀取網路】 GPU 之【編輯】,變數區【值】的【all】改成【】 即為取消使用 GPU 加速。
  • 選擇訓練效果較好的 model 來偵測圖片。點選【Caffe_物件偵測_讀取網路】caffeModelPath 的 【…】 來選擇要使用的訓練模型(.caffemodel 檔)。
  • 觀看結果訊息。按下執行,透過已訓練好的模型,偵測出物件中目標的座標位置以及其類別。如下圖35
  • 觀看結果訊息與影像。如果欲看到影像上面偵測出來的結果框,則按下偵錯。顯示出物件偵測的結果。如下圖36,PCB 的影像上面有偵測出電容且將其框選出來。

※關於 “選擇訓練效果較好的 model” 可利用 【5_train_result.flow】 與 【6_test_result.flow】 測過所有 caffemodel 檔對 train_image 與 test_image 的分類結果,可根據分類結果來決定要選擇哪個訓練模型。

 

圖32.7_inference.flow.png

圖32.7_inference.flow。

 

圖33.載入 7_inference.flow.png

圖33.載入 7_inference.flow。

 

圖34.7_inference 選擇測試影像.png

圖34.7_inference 選擇測試影像。

 

圖35.7_inference 執行結果.png

圖35.7_inference 執行結果。

 

圖36.7_inference 偵錯結果.png

圖36.7_inference 偵錯結果。

 

圖37.7_inference 另一張影像測試結果.png

圖37.7_inference 另一張影像測試結果。

 

  1. inference_image 流程內容介紹

 

  • Caffe_ 初始化: Caffe 框架初始化。
  • 影像_開啟:

【影像檔案名稱(字串)】欲推論測試的影像路徑。

【影像(影像)】依照上面影像檔案名稱將欲推論的影像讀入後,存至此變數。

  • Caffe_ 物件偵測_讀取網路

【CaffeObject (物件)】

【GPU (整數) 】是否開啟 GPU 加速。

【deployPath (字串) 】讀取網路結構模型。data/deploy.prototxt。

【caffeModelPath (字串) 】讀入已訓練好的模型 (副檔名為 .caffemodel )。

【labelPath (字串) 】讀取在使用 labelImg.exe 做標記時,所使用的類別檔。 data/predefined_classes.txt。

【meanFilePath (字串) 】

  • Caffe_物件偵測_影像推論

【CaffeObject (物件)】

【OutputResult (Json) 】將影像推論完後的結果以訊息存至此變數。

【GPU (整數) 】是否開啟 GPU 加速。

【影像 (影像) 】欲推論的影像。

【ConfidenceThreshold (浮點數)】

  • Json_ 列印

【json (Json) 】顯示 Caffe_物件偵測_影像推論的檢測結果訊息。

  • 影像_以 Json 畫方形

【(影像)】欲推論的影像。

【json(Json)】推論出來的結果訊息。

【畫 Json 方形(影像)】將推論出來的結果訊息畫至欲推論的影像。

  • 偵錯_影像

【影像(影像)】顯示已畫上推論結果訊息的影像。

【縮放百分比 (整數) 】顯示圖的百分比。值為 200 表示 200 % (圖片放大一倍)、50 表示 50 % (圖片縮小一半),以此類推放大縮小。

 

 

八、步驟七:擷取 webcam 影像測試已訓練好的模型 - inference _webcam

 

圖37.1.7_inference 另一張影像測試結果.png

 

當模型已訓練好後,也可以藉由這一個步驟擷取 webcam 的影像來測試訓練出來的模型。

先使用 OpenR8 開啟【8_inference_webcam.flow】,載入檔案。如下圖38圖39 。

  1. 測試流程
  • 確認 【OpenCV_串流擷取_開啟】 webcam 的【裝置碼】(筆電鏡頭預設為 0,加裝的 webcam 為 1,依此類推)。
  • 確認電腦是否支援 GPU 加速。點選【Caffe_物件偵測_讀取網路】 GPU 之【編輯】,變數區【值】的【all】改成【】 即為取消使用 GPU 加速。
  • 選擇訓練效果較好的 model 來偵測圖片。點選【Caffe_物件偵測_讀取網路】caffeModelPath 的 【…】 來選擇要使用的訓練模型(.caffemodel 檔)。
  • 按下執行,透過已訓練好的模型,偵測 webcaem 擷取影像的物件目標的座標位置以及其類別。如下圖41

 

圖38.8_inference_webcam.flow.png

圖38.8_inference_webcam.flow。

 

圖39.載入 8_inference_webcam.flow.png

圖39.載入 8_inference_webcam.flow。

 

圖40.8_inference_webcam 確認 webcam 裝置碼.png

圖40.8_inference_webcam 確認 webcam 裝置碼。

 

圖41.8_inference_webcam 執行結果.png

圖41.8_inference_webcam 執行結果。

 

  1. inference.flow 流程內容介紹
  • Caffe_初始化: Caffe 框架初始化。
  • 影像_開啟:

【影像檔案名稱 (字串) 】欲推論測試的影像路徑。

【影像 (影像) 】依照上面影像檔案名稱將欲推論的影像讀入後,存至此變數。

  • Caffe_物件偵測_讀取網路

【CaffeObject (物件) 】

【GPU (整數) 】是否開啟 GPU 加速。

【deployPath (字串) 】讀取網路結構模型。data/deploy.prototxt。

【caffeModelPath (字串) 】讀入已訓練好的模型 (副檔名為 .caffemodel )。

【labelPath (字串) 】讀取在使用 labelImg.exe 做標記時,所使用的類別檔。 data/predefined_classes.txt。

【meanFilePath (字串) 】

  • OpenCV_串流擷取_初始化: 串流擷取初始化。
  • OpenCV_串流擷取_開啟: 開啟指定的 webcam。
  • OpenCV_串流擷取_擷取: 擷取指定的 webcam 影像。
  • OpenCV_串流擷取_取得: 取得 webcam 擷取的影像。
  • Caffe_物件偵測_影像推論

【CaffeObject (物件) 】

【OutputResult (Json) 】將影像推論完後的結果以訊息存至此變數。

【GPU (整數) 】是否開啟 GPU 加速。

【影像 (影像) 】欲推論的影像。

【ConfidenceThreshold (浮點數) 】

  • Json_列印

【json (Json) 】顯示 Caffe_物件偵測_影像推論的檢測結果訊息。

  • 影像_以 Json 畫方形

【影像 (影像) 】欲推論的影像。

【json (Json) 】推論出來的結果訊息。

【畫 Json 方形 (影像) 】將推論出來的結果訊息畫至欲推論的影像。

  • 偵錯_影像

【影像 (影像) 】顯示已畫上推論結果訊息的影像。

【縮放百分比 (整數) 】顯示圖的百分比。值為 200 表示 200 % (圖片放大一倍)、50 表示 50 % (圖片縮小一半),以此類推放大縮小。

  • OpenCV_串流擷取_釋放:將 webcam 關閉。

延伸閱讀

1.
OpenR8 - 人人都會用的 AI 軟體 (下載)

[CP 值最好的 AI 人工智慧電腦熱賣中]
硬體採用最新最快的 Titan RTX, RTX-2080Ti-11G, 及 TESLA V100!
視窗圖控介面,易學易用。
硬體優勢:針對深度學習最佳化設計,且經過客戶端 24H 運作驗證。
軟體優勢:事先安裝人工智慧軟體及優化設定,每週提供最新 AI 演算法下載。
公司優勢:專業人工智慧機器人設計公司,資本額一億。
歡迎企業、學校、及公家機關大量採購。
可租用,歡迎來信或來電洽詢。
詳細資料請參閱以下網址: https://tw.leaderg.com/ai_computer