此文章之範例適用於下列條件:
TMflow 軟體版本： 2.18 或以上。
TM 手臂硬體版本 : HW3.2 or above
Other specific requirements :
- AI+ Training Server : Software version 2.18 or above
- De-palletizing project
Note that older or latest software versions may have different results
建立環境 #
- 收集 TM 紙箱，將紙箱堆疊在支架上，並使用 3D 相機收集影像。
- 使用外觀相同的紙箱作為測試樣本，TM Logo 朝上（如下圖所示）：
使用 TMflow 收集影像 #
- 開啟 TMflow，選擇 Configuration → AI+
- 輸入 AI+ Trainer 的帳號、密碼與連線 IP，選擇伺服器並點選「Save」
- 開啟您的解棧專案
- 找到專案中的「Positioning vision job」
- 編輯 vision job：
- 設定 3D 相機的初始參數，啟用影像顏色以檢視 2D 圖像，按「Save」
- 設定 ROI，確保紙箱在偵測範圍內
- 在Find 模組中選擇 Geometry 方法
- 點選「Setting」來選擇或建立儲存AI+Trainer影像的資料集
- 確認紙箱排列符合需求，點選「Save Image」完成影像收集
- 您可在 AI+ Training Server 中確認影像是否成功收集至指定資料集
紙箱影像收集建議 #
- 請收集以下12種基本情境影像 ：
- 旋轉情境 (共 8 張）：
- 是否旋轉 45 度
- 是否提高高度（至最高可能高度）
- 是否緊貼排列 (若有，第一層需包含所有可能紙箱)
- 曡放情境 （共 4 張）:
- 底部兩箱、上方一箱，上方是否旋轉 45 度
- 底部四箱、上方一箱，上方是否旋轉 45 度
- 旋轉情境 (共 8 張）：
- 除了指定的 12 張影像外，建議隨機收集各種不同情境的影像， 直到總數達到 20 張以上， 以確保評估的穩定性
- 模型部署後，若仍有部分情境無法正確辨識，您可以收集這些情境的影像並重新訓練模型
Image Collection Example #
- 無旋轉、無提高高度、箱子未緊貼排列
- 旋轉 45 度、無提高高度、箱子未緊貼排列
- 無旋轉、有提高高度、箱子未緊貼排列
- 無旋轉、無提高高度、箱子緊貼排列
- 旋轉 45 度、有提高高度、箱子未緊貼排列
- 旋轉 45 度、無提高高度、箱子緊貼排列
- 無旋轉、有提高高度、箱子緊貼排列
- 旋轉 45 度、有提高高度、有膠帶的紙箱
- 疊放情境，底部兩個紙箱，無旋轉
- 疊放情境，底部兩個紙箱，旋轉 45 度
- 疊放情境，底部四個紙箱，無旋轉
- 疊放情境，底部四個紙箱，旋轉 45 度
- 除了上述 12 張影像外，建議再收集 20 張或以上類似的情境影像，以確保模型的穩定性
標註影像並訓練模型 #
- 輸入帳號與密碼以登入 AI+ Trainer
- 在 AI+ Trainer上建立資料集，並從 TMflow 將影像收集到該資料集中；或是直接在 TMflow 中建立資料集並收集影像
- 選擇您的資料集，並為紙箱建立標籤
- 點選「Annotate（標註）」，開始標註紙箱
- 新增實例，並使用標註工具為紙箱加上標籤
- 請標註紙箱頂部完整可見的情況，若紙箱邊角被遮擋或不完整，建議不要進行標註
- 建立訓練模型的專案
- 選擇您的資料集
- 接著設定模型參數，您可以參考下列參數進行設置，以確保涵蓋各種場景
- 模型訓練完成後，您可以將模型下載到硬碟中，再載入至 TMflow；或直接在 TMflow 中匯入模型
將 AI 模型匯入 TMflow #
- 開啟 TMflow，選擇「Configuration → AI+」
- 輸入帳號與密碼，連接至 AI+ 訓練伺服器，選擇「AI+ Instance Segmentation（3D）」，然後選取模型並點選「下載」
- 開啟您的拆棧專案
- 在拆棧專案中找到「Positioning vision job」
- 編輯 vision job
- 設定 3D 相機的初始化參數，啟用影像顏色以查看 2D 影像，然後點選「儲存」
- 設定 ROI，確保紙箱位於偵測範圍內
- 在「Find」模組中選擇 Geometry 方法
- 點選「Setting」，選擇或建立要儲存影像至 AI+ Trainer的資料集
- 選擇您的 AI 模型
- 確保模型能成功定位紙箱，完成 vision job 並儲存結果
- 完成 vision job 後，繼續執行解棧專案，以測試任務是否成功
