★山信軟件股份有限公司耿浩，翟諾，崔麗敏

關鍵詞：深度學習；kmeans；歐氏距離；3D視覺；焊標機器人

1　引言

螺紋鋼廣泛用于房屋、橋梁、道路等土建工程建設。在螺紋鋼生產加工的過程中，需要對成捆的螺紋鋼進行焊接標簽，以標明該螺紋鋼的爐號、鋼號、支數、重量等信息。整個后補收集區域的工作流程是，打捆機打捆完成后，鋼捆通過輸送輥道運輸到收集區域，經過對齊擋板的對齊后，提升移鋼鏈條上升，把鋼捆抬起脫離輥道，然后運輸到稱重位置，提升移鋼鏈條下降，鋼捆放到稱重臺架上進行稱重，稱重完成后，提升移鋼鏈條上升，將鋼捆運輸到平移鏈條，焊標人員從打印機中取出打印好的標牌，手持焊槍并填裝焊釘，將帶有鋼材信息的標牌焊接到合適的鋼筋端面上。工藝流程圖如圖1所示。

焊標機器人是指代替人工實現螺紋鋼的焊標簽牌的工作，其中機器人相當于人的手臂，而3D相機相當于人的眼睛，3D視覺引導算法相當于人的大腦，通過分析鋼筋圖像，從中選擇出兩個合適的位置命令機器人進行標簽焊接，焊接的最佳位置為成捆鋼筋左右中心點。

圖1工藝流程圖

2　現場情況概述

本文所選用的成像設備是單目結構光3D相機。該相機固定安裝于機械手末端，每次鋼捆到來時會觸碰到對應位置的接近開關，從而觸發相機進行拍照。該相機一次拍照可以獲取一張200萬像素的灰度圖、一張200萬像素的RGB圖像和一幅與灰度圖像對應的點云圖。該相機成像所用的結構光為紅外結構光，在現場能夠較好地規避環境雜光產生的影響。圖2為現場生產中鋼筋捆的灰度圖和點云圖像。

圖2現場灰度圖和點云圖像

3　鋼筋識別AI模型

該算法第一步是獲取到灰度圖像中的所有鋼筋中心坐標，但由于工業現場環境復雜，且環境惡劣無法對現場進行環境改造，極易出現成像中存在大量的干擾像素。傳統的圖像處理算法很難查找到圖像中所有的鋼筋，魯棒性極差，因此這里使用Yolov4深度學習目標檢測算法^[8]。

Yolov4算法具有較強的實時性和較高的模型檢測精度，能夠滿足現場3s以內準確地獲取引導坐標的實時性要求。Yolov4網絡結構如圖3所示，其主要由主干網絡層、特征增強層和分類回歸層組成^[1,4]。本鋼筋識別模型設定的輸入圖像尺寸為608×608，圖像首先經過CSPDarknet53主干網絡進行特征提取，然后先后通過SPP和PANet特征金字塔結構進行特征增強和融合處理，最終得到76×76、38×38和19×19三種不同尺度的特征圖，最后通過分類回歸層得到最終的檢測結果。

本文共使用47張現場實際生產圖像，圖像中棒材的規格涵蓋現場生產的12mm～25mm規格的所有鋼筋，每種規格鋼筋至少3張以上的圖片，包括白天黑夜各種天氣狀態下的照片。小規格鋼筋的數量在120根一捆左右，大規格鋼筋在30根一捆左右，數據集展示圖如圖4所示。

圖3輸入608的Yolov4網絡結構圖

圖4數據集展示圖

通過反復迭代優化訓練模型，即便Yolov4具有較強的魯棒性，但是對于復雜的工業現場依然存在誤判的情況^[5]。因此本文提出了三種優化方式：一是通過反向標記數據的方式，以減少光線因素對識別的影響，主要操作方式為將影響的背景因素標注為除鋼筋外的第二類目標物體，背景因素中主要是窗戶和堆積的之前的焊標鋼筋料垛，標注圖片如圖5所示，并將其訓練到網絡中，以降低識別的錯誤率。經過實際現場驗證，該方法具有較高的實用性。如圖5所示，紅色標識部分為深度學習識別的鋼筋坐標中心，綠色部分為圖像識別的其他目標；二是為了進一步降低復雜背景對鋼筋識別的影響，在現場鋼筋上方增加了高溫石棉布遮擋雜亂背景，進一步提高了設備的穩定性；三是針對現場大規格鋼筋由于冷卻原因容易出現藍頭的問題，藍色反射紅外光線能力較弱，整體圖像偏向黑色，因此在數據集中，增加了較多大規格的鋼筋捆圖像數量。

圖5反向標注及識別效果

通過上述三種方式的優化，極大提高了Yolov4鋼筋識別模型在現場識別的成功率，目前現場正確識別成功率可達99%以上。在實際生產過程中，鋼筋捆的停靠范圍基本上維持在設定位置1m左右的范圍內，在相機成像圖片設置固定的列坐標范圍，在Yolov4獲取所有的鋼筋中心坐標后，在程序中對所有鋼筋的坐標點進行篩選，一旦出現超過正確坐標范圍的坐標點，將自動進行過濾。當檢測到大量坐標點在不正確范圍內時，將進行報警，從而提高了設備運行的安全性。

4　點云濾波算法

在獲取出所有的鋼筋坐標后，需要根據圖像坐標從點云空間中找到所有點的點云坐標。但是由于3D相機的成像固有的問題及工業現場的電磁干擾，點云圖像容易出現空洞、飛點等問題，因此需要對所有點云坐標進行濾波計算^[7]。首先以每個中心坐標點為中心，根據上下左右作出一定的偏移，數學描述如下：

假設灰度圖像坐標系為XOY，點云坐標系為XYZ。鋼筋AI識別模型識別的坐標集合為所有{C}，{C}中的點均為鋼筋的圖像中心坐標點，取其中一點坐標記為（X,Y），首先設偏移量為N，則取（X,Y）周圍上下左右四個坐標點可得（X-N,Y）、（X+N,Y）、（X,Y-N）、（X,Y+N）的點圖上坐標，設該坐標集合為{A}，找到集合{A}在XYZ點云坐標系下的對應點坐標，并將對應的Z值添加到集合{A}中形成以Z值為鍵平面中心坐標為值的鍵值對，按照Z值進行非0數據排序處理，首先對非零數據進行統計記為{C}，設定一旦{C}小于設定閾值E，其中E取值范圍為（0～4），則說明該鋼筋中心點周圍存在大量空洞數據，舍棄本次數據；否則按照Z取出集合的最大值Max{A}記為M，最小值為Min{A}記為L，若M-L>D，其中D為判定飛點的閾值，若D較大時則說明存在飛點，因此舍棄本組數據。在空洞和飛點濾波算法通過后，則根據自中心開始順時針方向優先從{A}中選擇一個合適的XYZ坐標均不為0的點，最后依次對{C}中所有的數據進行處理，可以得到一個過濾后的數據集合{α}。點云濾波算法流程圖如圖6所示。

圖6點云濾波算法流程圖

5　Kmeans確定左右中心點

根據現場生產要求，需要對現場鋼筋左側和右側各進行一次焊牌動作，形成如圖7中的效果。因此根據該需求將整捆鋼筋分割成左右兩部分，并分別確定左右兩側的鋼筋中心，該點即為需要焊標的點。

圖7實際焊牌效果圖

針對現場的工藝分析，本文提出了通過K-Means聚類算法來實現鋼筋左右中心點的確定。在一個二維平面中，一簇數據點的質心的橫坐標就是這一簇數據點的橫坐標的均值，質心的縱坐標就是這一簇數據點的縱坐標的均值，因此聚類所得的結果就是左右兩側中心^[3]。因此對過濾后的可用點集合{α}進行K-Means聚類計算，指定其簇的個數為2，就可以得到左側鋼左右兩側的兩個鋼筋的集合{L_α}和{R_α}，以及左右兩側的質心坐標，如圖8所示黃色圈內為鋼筋的左右質心。

圖8聚類中心結果圖

6　焊點選擇算法

在焊標的過程中，首先要確定距離兩質心最近的鋼筋，這里將質心與周圍鋼筋中點的遠近通過歐式距離來確定。取左半部分為例，設左質心坐標為（X_c，Y_c），整個集合{L_α}內任意一點為（X_n，Y_n），兩點間的距離為P_n，如式（1）所示：

對{α}中所有點進行上式計算，可得各點與其中心的距離P₀P₁P₂.....P_{_n}，記為集合{P}，并向集合{P}中添加對應坐標組成鍵值對，通過對{P}的排序，確定出左右兩部分鋼筋點的中心鋼筋L_c、R_c，左右兩側有序集合{LO_α}和{RO_α}。

又根據現場焊槍頭與周邊卡具的機械結構，且由于現場實際生產中，鋼筋捆頭部存在參差不齊的情況，因此L_c、R_c點的焊接鋼筋與周圍m根鋼筋的高度差不得超過一個規定值n毫米，其中n和m可以根據實際現場的機械結構設定數值。

以左側鋼筋為例，以L_c為中心從{LO_α}中取前m根鋼筋的集合{M}，并從點云空間XYZ中找到集合{M}所有數據對應的Z向信息，將Z為鍵添加到{M}中形成新鍵值對集合，并以Z鍵從大到小進行排序，確定出集合中的最大值，并與中心L_c進行Z向的絕對值差值計算，若差值小于n則符合條件，A點為最終焊標點，否則將集合中的最高點賦值為中心點，重新應用公式（1）對{L_α}進行排序，再次得到有序集合{LO_α}，并重復繼迭代以上算法，直至確定出正確的坐標點，具體流程如圖9所示。

圖9 焊點確定算法

上文所選擇的Lc坐標點為3D相機坐標系下的坐標，在實際使用過程中需要將其轉換到機器人坐標系下，該焊標機械手與鋼筋捆為垂直姿態，在Z方向的坐標轉換為機械手啟動焊接點與3D相機的相對固定位置^[6,2]；XY方向的坐標轉換通過九點標定法確定，通過人工控制機器人到棋盤格上選定的角點位置處，記錄下此時的機器人XY坐標，然后在平面圖中找到對應的角點位置的XY坐標，再從點云空間中找到對應角點的XY點云坐標，將兩組進行計算，得出變換齊次矩陣。在實際使用過程中每次將所選擇的L_c坐標點帶入公式，得到機器人焊接坐標位置，實現對機器人的成功引導。

7　結論

根據現場實際使用情況，該算法能夠準確地選出一捆鋼筋中的焊接點。該算法通過特殊反向標注的數據集訓練了Yolov4鋼筋識別模型，使其能夠準確地從圖中獲取出鋼筋圖像坐標位置，有效降低了現場干擾，具有較強的魯棒性；該算法通過點云濾波算法能夠有效地過濾飛點和點云空洞問題，提高了引導成功率；該算法通過K-Means聚類算法和歐式距離算法遍歷整個點云空間，選擇最佳焊接位置，有效規避了鋼筋長短不一損害設備的問題，提高了設備的使用壽命。

該算法已經應用于永鋒、萊鋼等多臺焊標機器人，效果良好。該算法不僅可以應用于機器人焊標場景，還可以應用于無序抓取、無人行車等3D視覺引導場景。該算法通過在2D圖像進行圖像處理而不是在三維空間直接進行數據處理，極大地縮短了圖像處理的速度，且通過訓練各種AI檢測模型，其能夠快速準確地找到物料目標，并且針對點云圖像提供了高效的濾波和選點算法，具有較高的工程應用價值。

作者簡介：

耿　浩（1992-），男，山東濟南人，工程師，碩士，現就職于山信軟件股份有限公司，主要從事鋼鐵行業人工智能機器視覺應用方向的研究。

翟　諾（1980-），女，高級工程師，學士，現就職于山信軟件股份有限公司，主要從事自動化控制、人工智能應用方向的研究。

崔麗敏（1999-），女，助理工程師，學士，現就職于山信軟件股份有限公司，主要從事鋼鐵行業人工智能機器視覺應用方向的研究。 

參考文獻：

[1] 周晉偉, 王建平. YOLO物體檢測算法研究綜述[J]. 常州工學院學報, 2023, 36 (1) : 18 - 23.

[2] 江舟. 基于雙目識別機器視覺技術的機械臂抓取研究[J]. 機械設計與制造工程, 2022, 51 (11) : 49 - 52.

[3] Rafacel C. Gonzalez, Richard E Woods, Steven L. Eddins等著. 阮秋琦等譯. 數字圖像處理[M]. 北京: 電子工業出版社, 2005.

[4] Alexey B, Wang C Y, Hong Y. YOLOV4: Optimal Speed and Accuracy of Object Detection[J]. Computer Vision and Pattern Recognition, 2020, 10 (9) : 34 - 51．

[5] 楊暢暢, 李慧玲, 潘廣通. 基于改進 YOLOv4 算法的鋁型材表面缺陷檢測[J]. 組合機床與自動化加工技術, 2022, (11) : 66 - 69.

[6] 王棟, 花文超, 李祺, 等. 工業機器人實驗平臺設計[J]. 中國高新技術企業, 2016, (23) : 27 - 29.

[7] 王鵬. 基于雙目視覺的目標識別與定位研究[Ｄ]. 秦皇島: 燕山大學, 2020．

[8] 劉允浩. 機器視覺在智能制造中的應用[J]. 計算機與圖像技術, 2022, (24) : 186 - 190.

摘自《自動化博覽》2025年8月刊