[OpenR8 解決方案] Image_MoveMouseThenScreenShot (滑鼠控制及影像截圖分析)

一、使用介紹

 

此章節介紹使用者如何透過R8軟體載入現有的解決方案來實現自動點擊下一張影像,擷取每一張影像做分析檢測,最後再將分析結果影像存至本機端。

 

步驟1.設定想要截取的視窗。

 

  1. 用 Windows 內建的 Photos App 開啟 input 資料夾的 sample1.png ,視窗放到左上角。如下圖1圖2。
  2. 確認Photos App(相片) 的[下一頁]按鈕座標(全螢幕所在的 x、y 座標) 。如下圖3。

(可以使用 Windows 內建的 snipping tool(剪取工具)來做螢幕截圖,然後用 Windows 內建的 Paint(小畫家)量測座標)

  1. 接續上2),確認影像在全螢幕的位置,左上角座標 x 與 y,長寬 w 與 h。如下圖4圖5。

 

備註: 使用螢幕截圖軟體抓到的座標,多乘一個螢幕縮放倍率。因此當螢幕顯示比例大小非為100%,實際螢幕座標需要再除以該數值。

例如:螢幕顯示比例大小為120%,則座標長寬值需除以1.2。

 

圖1.開啟圖片.png

圖1.開啟圖片。

 

圖2.圖片視窗放置螢幕左上角.png

圖2.圖片視窗放置螢幕左上角。

 

圖3.確認圖片畫面下一頁按鈕在螢幕所在位置.png

圖3.確認圖片畫面下一頁按鈕在螢幕所在位置。

 

圖4.確認開啟圖片在螢幕視窗所處位置 左上角 .png

圖4.確認開啟圖片在螢幕視窗所處位置(左上角)。

 

圖5.確認開啟圖片在螢幕視窗所處位置 長寬 .png

圖5.確認開啟圖片在螢幕視窗所處位置(長寬)。

 

步驟2.設定 command prompt (命令提示字元) 的位置。使得開啟 command prompt 的視窗不會擋住 Photos App。如下圖6圖7圖8

 

圖6.開啟dos視窗.png

圖6.開啟dos視窗。

 

圖7.Dos視窗的屬性.png

圖7.Dos 視窗的屬性。

 

圖8.調整dos視窗大小位置.png

圖8.調整 dos 視窗大小位置。

 

步驟3. 執行 R8.exe,開啟流程檔案。

 

  1. 請雙擊開啟 R8。畫面如下圖9。
  2. 點擊R8上方的【檔案】=>【開啟】。畫面如下圖10
  3. 選擇 solution下的 Image_MoveMouseThenScreenShot 資料夾。如下圖11。
  4. 選擇與開啟流程檔。如下圖12圖13

 

圖9. 執行R8.exe .png

圖9. 【執行 R8.exe】。

 

圖10. 檔案 開啟 .png

圖10. 【檔案】=>【開啟】。

 

圖11.解決方案資料夾.png

圖11.解決方案資料夾。

 

圖12.選擇流程檔.png

圖12.選擇流程檔。

 

圖13.開啟流程檔.png

圖13.開啟流程檔。

 

 

 

 

 

步驟4. 將 Variable positionX 與 positionY 的數值,改為步驟1量測[下一頁]按鈕的 x 、 y 座標 。如下圖14

 

圖14.填滑鼠點擊位置圖.png

圖14.填滑鼠點擊位置圖。

 

步驟5. 將影像_裁切的 x、y、w、h 數值,改為步驟1量測檢測區域的左上角座標與長寬 。如下圖15

 

圖15.填檢測區域座標示意圖.png

圖15.填檢測區域座標示意圖。

 

步驟6. 在 OpenR8 按下 Run 讓程式運行。注意此時 OpenR8 不可以全螢幕,否則它會把 Photos App 的視窗蓋住,另外程式運行中請勿移動滑鼠。如下圖16

 

圖16.執行過程示意圖.png

圖16.執行過程示意圖。

 

步驟7. 取像結果會儲存到 data 資料夾,分析結果會儲存到 inference 資料夾。如下圖17

 

圖17.儲存的結果圖.png

圖17.儲存的結果圖。

 

 

二、流程

 

此解決方案的流程。如下圖18

如果想要自行修改流程,可以透過相對應的函式方塊做修改。

 

圖18.流程圖.png

圖18.流程圖。


延伸閱讀

1.
OpenR8 社群版 - 人人都會用的 AI 軟體 (免費下載)

[CP 值最好的 AI 人工智慧電腦熱賣中]
硬體採用最新最快的 Titan RTX, RTX-2080Ti-11G, 及 TESLA V100!
視窗圖控介面,易學易用。
硬體優勢:針對深度學習最佳化設計,且經過客戶端 24H 運作驗證。
軟體優勢:事先安裝人工智慧軟體及優化設定,每週提供最新 AI 演算法下載。
公司優勢:專業人工智慧機器人設計公司,資本額一億。
歡迎企業、學校、及公家機關大量採購。
可租用,歡迎來信或來電洽詢。
詳細資料請參閱以下網址: https://tw.openrobot.club/ai_computer