買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉北京工業(yè)大學(xué)申請的專利一種基于機器視覺的垃圾桶無人值守系統(tǒng)設(shè)計方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114092877B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-22發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202111295652.9，技術(shù)領(lǐng)域涉及：G06V20/52；該發(fā)明授權(quán)一種基于機器視覺的垃圾桶無人值守系統(tǒng)設(shè)計方法是由孫光民;趙銳騰;李煜設(shè)計研發(fā)完成，并于2021-11-03向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于機器視覺的垃圾桶無人值守系統(tǒng)設(shè)計方法在說明書摘要公布了：一種基于機器視覺的垃圾桶無人值守系統(tǒng)設(shè)計方法屬于機器視覺技術(shù)領(lǐng)域，系統(tǒng)采用端?云結(jié)合架構(gòu)，通過邊緣計算對視頻等信息進行實時處理，提高系統(tǒng)反應(yīng)時效性，減輕數(shù)據(jù)傳輸負載，降低平臺的運營成本。該系統(tǒng)可部署于社區(qū)集中垃圾投放點，輔助垃圾的正確投放和分類，對居民垃圾投放情況及垃圾桶狀態(tài)信息進行實時監(jiān)控和統(tǒng)計，保證垃圾投放過程可監(jiān)督，可追溯。系統(tǒng)可替代原有的人工值守方式，有效降低人力成本，提高垃圾分類政策的執(zhí)行效果。

本發(fā)明授權(quán)一種基于機器視覺的垃圾桶無人值守系統(tǒng)設(shè)計方法在權(quán)利要求書中公布了：1.一種基于機器視覺的垃圾桶無人值守系統(tǒng)設(shè)計方法，其特征在于： 步驟1使用人臉檢測算法獲取攝像頭拍攝圖像中的人臉檢測框Boxes以及每個檢測框所對應(yīng)的人臉關(guān)鍵點Landmarks；將Boxes及其對應(yīng)的Landmarks送入對齊網(wǎng)絡(luò)輸出對齊后的人臉圖像Imageface；將對齊后的人臉圖像Imageface送入人臉識別網(wǎng)絡(luò)生成n維特征向量embedding，embedding滿足： embedding＝x1,x2,x3…xn 作為人臉比對依據(jù)；最后將生成的人臉特征向量embedding與數(shù)據(jù)庫中已注冊的人臉特征向量集合進行對比，其中ei滿足： ei＝y(tǒng)1,y2,y3…yn 計算其歐氏距離d： 選擇滿足歐氏距離d小于預(yù)設(shè)閾值dthreshold的人臉信息所對應(yīng)的姓名作為最終識別結(jié)果；dthreshold＝1.24； 步驟2使用深度神經(jīng)網(wǎng)絡(luò)模型對待投放垃圾進行目標(biāo)檢測，獲取待投放垃圾的種類信息，分為以下4個階段： 1預(yù)處理階段，對輸入圖像進行切片操作，將切片后的圖像進行卷積降維后，送入主干網(wǎng)絡(luò)進行特征提取； 2特征圖提取階段，主干網(wǎng)絡(luò)由深度可分離卷積DSConv模塊及添加通道注意力機制的幽靈卷積瓶頸層SE-GhostBottleneck模塊構(gòu)成； SE-GhostBottleneck模塊輸入先后經(jīng)過幽靈卷積降維GhostConv–分組卷積DWConv–通道權(quán)重調(diào)整SELayer–幽靈卷積升維GhostConv操作輸出特征圖； 主干網(wǎng)絡(luò)具體結(jié)構(gòu)如下： 2-1輸入首先經(jīng)過DSConv模塊進行卷積下采樣操作，之后送入SE-GhostBottleneck模塊進行特征提取得到淺層特征圖； 2-2將淺層特征圖送入DSConv模塊進行卷積下采樣操作，之后送入3層級聯(lián)SE-GhostBottleneck模塊進行特征提取得到較深層特征圖； 2-3將較深層特征圖送入DSConv模塊進行卷積下采樣操作，之后送入3層級聯(lián)SE-GhostBottleneck模塊進行特征提取得到深層特征圖； 2-4將深層特征圖送入空間金字塔池化層SPP模塊進行多重感受野融合，提升模型對于不同尺寸物體檢測的魯棒性，并將輸出特征圖送入通道注意力模塊SELayer進行通道權(quán)重調(diào)整，將其輸出結(jié)果作為主干網(wǎng)絡(luò)的特征提取結(jié)果； 3特征融合階段，對于主干網(wǎng)絡(luò)所提取的特征圖，基于深層特征圖的強語義特征和淺層特征圖的強定位特征，從不同的主干層對不同的檢測層進行參數(shù)聚合，更好的融合主干網(wǎng)絡(luò)所提取的特征，其具體結(jié)構(gòu)如下： 3-1首先將主干網(wǎng)絡(luò)輸出特征圖送入幽靈卷積瓶頸層GhostBottleneck模塊，輸出特征圖f1； 3-2將特征圖f1送入幽靈卷積GhostConv模塊，輸出特征圖f2； 3-3將特征圖f2進行上采樣，并通過跳躍連接層與2-3中所提深層特征圖在通道維度上進行堆疊，輸出特征圖f3； 3-4將特征圖f3送入幽靈卷積瓶頸層GhostBottleneck模塊，輸出特征圖f4； 3-5將特征圖f4送入幽靈卷積GhostConv模塊，輸出特征圖f5； 3-6將特征圖f5進行上采樣，并通過跳躍連接層與2-2中所提較深層特征圖在通道維度上進行堆疊，輸出特征圖f6； 3-7將特征圖f6送入幽靈卷積瓶頸層GhostBottleneck模塊，輸出特征圖FM1； 3-8將特征圖FM1送入深度可分離卷積DSConv模塊，輸出特征圖f7； 3-9將特征圖f7通過跳躍連接層與步驟3-4中所提特征圖f4在通道維度上進行堆疊，輸出特征圖f8； 3-10將特征圖f8送入幽靈卷積瓶頸層GhostBottleneck模塊，輸出特征圖FM2； 3-11將特征圖FM2送入深度可分離卷積DSConv模塊，輸出特征圖f9； 3-12將特征圖f9通過跳躍連接層與3-2中所提特征圖f2在通道維度上進行堆疊，輸出特征圖f10； 3-13將特征f10圖送入幽靈卷積瓶頸層GhostBottleneck模塊，輸出特征圖FM3； 4目標(biāo)檢測階段，設(shè)置三級檢測頭，分別對應(yīng)小、中、大三種尺度的檢測目標(biāo)；將特征圖FM1、FM2、FM3送入檢測頭，根據(jù)預(yù)設(shè)錨點框進行邊框回歸，實現(xiàn)目標(biāo)檢測； 步驟3通過多目標(biāo)跟蹤算法對目標(biāo)軌跡進行跟蹤預(yù)測，并且針對原有遮擋造成的跟蹤目標(biāo)序號跳變問題，設(shè)計了一種跟蹤器雙輸入并聯(lián)結(jié)構(gòu)，聯(lián)合多角度特征信息保證跟蹤效果的穩(wěn)定性，降低誤判率，具體流程如下： 1將每一時刻的跟蹤框組合構(gòu)成一組軌跡； 2通過濾波操作對當(dāng)前幀預(yù)測一個跟蹤框，該跟蹤框存在兩種狀態(tài)，分別為確定狀態(tài)和不確定狀態(tài)； 3對當(dāng)前幀進行檢測，然后對檢測框和跟蹤框進行數(shù)據(jù)關(guān)聯(lián)，此時會出現(xiàn)兩種情況： a匹配成功，更新跟蹤框； b匹配失敗，對匹配失敗的跟蹤框和檢測框進行IOU匹配；若匹配成功，則進行更新，然后繼續(xù)進行預(yù)測–觀測–更新的跟蹤流程；若仍然失敗，則將原跟蹤目標(biāo)的特征向量與輔視角檢測目標(biāo)的特征向量進行匹配： 若匹配成功，則認為未丟失跟蹤目標(biāo)并保留跟蹤信息，否則對其建立一個新的跟蹤框，并初始化為不確定狀態(tài)，對此后幾幀進行IOU匹配，若匹配成功，則將此跟蹤框設(shè)置為確定狀態(tài)，繼續(xù)進行預(yù)測-觀測-更新的跟蹤流程； 4對下一幀執(zhí)行上述步驟1至3，直至任務(wù)結(jié)束； 步驟4通過專家系統(tǒng)對投放垃圾的軌跡終點坐標(biāo)與該區(qū)域垃圾桶類別進行匹配，錯誤匹配視為垃圾錯投，未進入?yún)^(qū)域視為垃圾遺撒；具體地，對每一幀圖像執(zhí)行下述操作： 4.1遍歷所有檢測框，若檢測到手或目標(biāo)初始坐標(biāo)在投放域內(nèi)，不做處理并進入下一幀，否則執(zhí)行4.2； 4.2若跟蹤終止坐標(biāo)不在投放區(qū)域內(nèi)，判定本次投放為垃圾遺撒并進入下一幀，否則執(zhí)行4.3 4.3若檢測目標(biāo)種類與投放區(qū)域種類不匹配，將投放錯誤信息添加至判定列表，否則將投放正確信息添加至判定列表，并設(shè)置告警顯示時長為0； 4.4設(shè)置終止顯示時長為2s并遍歷判定列表，若告警顯示時長大于終止顯示時長，將投放信息移出判定列表并發(fā)送告警信息至云端服務(wù)器，否則維持告警信息顯示直至大于終止顯示時長； 步驟5通過平視攝像頭C1獲取投放物體當(dāng)前距地面高度信息h，并提前劃定特定高度H，俯視攝像頭C2獲取檢測目標(biāo)框的像素寬度s′，與劃定垃圾桶區(qū)域的像素寬度s，將兩者相除得到比例系數(shù)k，公式如下： 其中k∈0,1，當(dāng)水平攝像頭檢測物體中心點高度h與預(yù)設(shè)高度H重合即h＝H時，通過已知的垃圾桶邊長Wt計算出投放物體的實際寬度W，公式如下： W＝Wt×k 利用攝像頭單目測距原理計算投放物體到攝像頭的距離D，公式如下： 式中D為檢測物體到攝像頭的距離，W為檢測物體的實際寬度，F(xiàn)為攝像頭的焦距，P為攝像頭中檢測物體的寬度像素值； 最終通過計算已知俯視角度攝像頭C2距地面高度Hc與距離攝像頭最近的目標(biāo)距離Dmin之差計算出當(dāng)前桶內(nèi)的最大垃圾堆疊高度Hmax，公式如下： Hmax＝Hc-Dmin 并設(shè)置閾值高度Hthreshold滿足： Hthreshold＝Hcan×α 其中Hcan為垃圾桶總高度，α為滿溢系數(shù)，取α＝0.7，當(dāng)Hmax超過閾值高度Hthreshold時，將垃圾桶視為滿溢狀態(tài)； 步驟6邊緣計算設(shè)備開啟兩條進程主進程和子進程，并通過共享內(nèi)存S實現(xiàn)進程通信：其中子進程將步驟5中的平視攝像頭C1作為人臉識別模塊的輸入端，輸出投放人姓名N，同時獲取當(dāng)前投放物體的高度信息h，最終將上述獲取的姓名N與高度信息h存入共享內(nèi)存S中供主進程調(diào)用；主進程將步驟5中的俯視攝像頭C2作為目標(biāo)檢測的輸入端，并將結(jié)果送入跟蹤器，實現(xiàn)對投放物體的種類CL與軌跡信息T的獲取，將CL與T輸入專家系統(tǒng)得出本次投放動作的判斷結(jié)果Code，同時獲取當(dāng)前時間戳T；最終將上述所提投放人姓名N，投放結(jié)果Code，當(dāng)前時間戳T，桶內(nèi)堆疊高度h統(tǒng)一發(fā)送至云端平臺進行數(shù)據(jù)匯總；在此期間，主進程通過RTMP協(xié)議向云端Nginx服務(wù)器推流，以實現(xiàn)流程的實時監(jiān)控要求。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人北京工業(yè)大學(xué)，其通訊地址為：100124 北京市朝陽區(qū)平樂園100號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。