視覺是人類最重要的感覺器官，占人類信息獲取的80%以上。機(jī)器視覺作為一種替代人眼的強(qiáng)大技術(shù)，已經(jīng)取得了巨大的突破并得到了廣泛的應(yīng)用。機(jī)器視覺系統(tǒng)可以代替人眼完成測量、定位、識別和檢測，在制造業(yè)、安防、文化等行業(yè)有大量的應(yīng)用機(jī)會。
機(jī)器視覺不僅可以克服人眼標(biāo)準(zhǔn)的不一致性、不重復(fù)性和主觀性，還可以為行業(yè)制定質(zhì)量控制的數(shù)字化標(biāo)準(zhǔn)。在高速度、高光譜、高分辨率、高可靠性、工作連續(xù)性、環(huán)境適應(yīng)性等方面也能超越人眼的極限。
背景介紹和案例總結(jié)
近年來，隨著工業(yè)自動化和物流技術(shù)的不斷發(fā)展，如何利用自動化設(shè)備提高物流效率，減少人工已經(jīng)成為物流行業(yè)最關(guān)心的問題。機(jī)器視覺系統(tǒng)能夠快速獲取大量圖像信息并自動處理，使得機(jī)器視覺幫助物流行業(yè)快速走向智能化和自動化。目前，在工業(yè)自動化應(yīng)用中，機(jī)器視覺廣泛應(yīng)用于缺陷檢測、掃描識別、定位判斷和位置測量。可以在節(jié)省人力成本，提高整體運(yùn)營效率的同時，大大提高空間利用率，從而降低運(yùn)輸成本。
隨著電子商務(wù)和物流業(yè)的快速發(fā)展，分揀模式的發(fā)展迫在眉睫。人工分揀存在效率低、出錯率高、成本高等缺點(diǎn)。特別是在碼垛應(yīng)用中，由于人工工作強(qiáng)度大、工作內(nèi)容單一、質(zhì)量和效率普遍較低，自動碼垛系統(tǒng)應(yīng)運(yùn)而生。在傳統(tǒng)的自動碼垛應(yīng)用中，經(jīng)常要求“拆包”和“編碼”的對象是規(guī)則和單一尺寸的貨物。在這種情況下，傳統(tǒng)的手工教學(xué)方法難度大，效率低。為了解決這一問題，海康機(jī)器人研發(fā)了一套基于機(jī)器視覺引導(dǎo)的機(jī)械臂拆包碼垛方案，可以解決多SKU、無序來料的問題。
海康機(jī)器人采用自主研發(fā)的高精度3D攝像頭、機(jī)器人運(yùn)動控制平臺軟件和智能算法的方案，將AI算法和深度學(xué)習(xí)緊密結(jié)合，突破了傳統(tǒng)自動碼垛的局限性，可以應(yīng)對復(fù)雜多變的碼垛形狀、多樣隨機(jī)的箱子。
方案介紹
在該方案中，3D攝像機(jī)負(fù)責(zé)獲取工作范圍內(nèi)盒子(如托盤或傳送帶)的深度信息和高清2D圖像，并將深度信息和2D圖像信息發(fā)送給機(jī)器人控制平臺軟件。平臺軟件內(nèi)置3D視覺算法和智能軌跡規(guī)劃算法。3D視覺算法通過AI深度學(xué)習(xí)+3D點(diǎn)云分割，可以快速準(zhǔn)確定位盒子在托盤或帶線上的位置，智能軌跡規(guī)劃算法提供精確的抓取點(diǎn)、放置點(diǎn)和軌跡點(diǎn)，引導(dǎo)機(jī)械臂快速抓取和堆疊。
三維視覺引導(dǎo)碼垛系統(tǒng)
方案中使用的3D攝像機(jī)是海康機(jī)器人新推出的寬視場雙目結(jié)構(gòu)光立體攝像機(jī)，具有精度高、景深大、視場大的特點(diǎn)。相機(jī)的探測精度達(dá)到3 mm，探測范圍達(dá)到1800mm，近視視場為1350mm×1200mm，遠(yuǎn)視視場為3650mm×2750mm(如圖2所示)，可以輕松適配1.2m * 1m * 1。同時具有極高的檢測效率和穩(wěn)定性，從拍照到軌跡算法輸出抓取點(diǎn)的時間小于1.5s。
3D攝像機(jī)視野示意圖
為了更方便客戶自主搭建機(jī)械臂拆包碼垛的控制系統(tǒng)，海康機(jī)器人專門開發(fā)了機(jī)器人運(yùn)動控制平臺軟件。軟件采用圖形化無代碼編程界面，簡單易用(如圖3)。軟件內(nèi)置軌跡規(guī)劃、碰撞檢測、抓取規(guī)劃等智能算法，軟件可適配國內(nèi)外各種主流品牌的機(jī)器人。
碼垛視覺定位模塊采用AI深度學(xué)習(xí)+3D點(diǎn)云分割的方案。使用RGBD相機(jī)對堆積物進(jìn)行實(shí)時拍照，獲取包裹和托盤的三維數(shù)據(jù)(深度圖+RGB圖)。定位處理流程如圖4所示。首先，使用深度學(xué)習(xí)網(wǎng)絡(luò)對RGB圖像包進(jìn)行粗略定位。然后利用物體表面的紋理特征和點(diǎn)云的邊緣特征進(jìn)行包裹的精確定位，并基于包裹表面的點(diǎn)計(jì)算最優(yōu)抓取點(diǎn)坐標(biāo)。最后，利用預(yù)先獲得的手眼標(biāo)定關(guān)系，將視覺位姿轉(zhuǎn)換到機(jī)械臂的坐標(biāo)系中進(jìn)行抓取處理。
視覺定位的技術(shù)路線
海康機(jī)器人3D攝像機(jī)具有出色的抗環(huán)境光能力。在典型的工廠光照條件下(20000lx)，海康機(jī)器人3D相機(jī)的點(diǎn)云數(shù)據(jù)明顯優(yōu)于其他相機(jī)，對比圖片如圖5所示。同時，海康機(jī)器人3D相機(jī)在渲染高反光和黑色物體的點(diǎn)云方面也優(yōu)于其他相機(jī)，對比圖像如圖6所示。在實(shí)際測試樣本中，其他3D相機(jī)在高反光金屬和黑色紙箱中的點(diǎn)云數(shù)據(jù)都有很大程度的丟失，而海康機(jī)器人3D相機(jī)仍然可以保證比較完整的呈現(xiàn)。
反環(huán)境光對比度
高反射和黑色物體的對比測試
該方案采用2D+3D組合視覺定位處理，具有精度高、魯棒性強(qiáng)、抗環(huán)境光能力強(qiáng)、不怕黑暗物體等特點(diǎn)。可精確應(yīng)用于各種盒子、包裝盒、雜志、編織袋、工件等物體，定位效果和精度不受物體位置和姿態(tài)的影響。
定位效果圖
智能軌跡規(guī)劃算法包括拆包過程和堆垛過程的點(diǎn)規(guī)劃。如圖8所示，通過解包分析/堆疊分析確定路徑規(guī)劃的終端配置，然后根據(jù)感知信息和環(huán)境配置，通過碰撞檢測規(guī)劃出安全的解包/堆疊路徑。拆包分析和堆疊分析的一般過程如下:
拆垛分析是基于三維視覺分類的點(diǎn)云，通過平面擬合計(jì)算出相應(yīng)的法向量、重心位置等信息，從而得到每類點(diǎn)云的拆垛點(diǎn)位置。同時，在路徑規(guī)劃過程中，物體的大小由用于碰撞檢測的外接矩形決定；然后，通過基坐標(biāo)與托盤的轉(zhuǎn)換關(guān)系、機(jī)器人狀態(tài)和拆垛方式來評估拆垛姿態(tài)的代價(jià)，最終確定最優(yōu)的拆垛構(gòu)型。
碼垛分析是對用戶編輯或自動生成的碼垛圖案進(jìn)行解碼(如圖9所示)，通過基坐標(biāo)/托盤變換關(guān)系的計(jì)算，對每個擺放姿態(tài)的代價(jià)進(jìn)行評估和排序，從而得到擺放構(gòu)型序列，并根據(jù)輸入的擺放指標(biāo)和機(jī)械臂逆運(yùn)動姿態(tài)得到最終的擺放構(gòu)型，同時內(nèi)部存儲碼垛盒的信息，用于路徑規(guī)劃過程中的碰撞檢測。
開箱和碼垛的整個過程
碼垛規(guī)則定義示意圖
摘要
海康機(jī)器人三維視覺引導(dǎo)碼垛系統(tǒng)旨在解決非結(jié)構(gòu)化環(huán)境下無法抓取形狀未知的物體或抓取成功率低的問題。基于高精度三維相機(jī)的抓斗和環(huán)境的2D彩色圖像信息，結(jié)合三維點(diǎn)云數(shù)據(jù)，精確提取抓斗的邊緣輪廓，通過智能算法選擇最優(yōu)抓斗點(diǎn)，并基于軟件中設(shè)置的環(huán)境約束輸出最優(yōu)軌跡點(diǎn)，提高了整個系統(tǒng)的精度和可靠性。通過使用該系統(tǒng)，用戶可以輕松應(yīng)對多SKU、完全隨機(jī)來料的場景，在滿足自動化碼垛要求的同時，進(jìn)一步提高生產(chǎn)效率，降低生產(chǎn)成本。