遼寧科技大學趙驥獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉遼寧科技大學申請的專利一種基于改進YoloV5和Openpose的分心駕駛行為識別方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN116403194B 。
龍圖騰網通過國家知識產權局官網在2025-08-08發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202310088938.2,技術領域涉及:G06V20/59;該發明授權一種基于改進YoloV5和Openpose的分心駕駛行為識別方法是由趙驥;楊楠設計研發完成,并于2023-02-09向國家知識產權局提交的專利申請。
本一種基于改進YoloV5和Openpose的分心駕駛行為識別方法在說明書摘要公布了:一種基于改進YoloV5和Openpose的分心駕駛行為識別方法,包括:改進YoloV5:在YoloV5的淺層網絡上添加一個預測頭,對YoloV5的損失函數進行優化;改進Openpose:借鑒MobileNet網絡的思想,利用逐點卷積升維的工作原理,解決深度可分離卷積在低維空間中信息丟失的問題,將其應用到輕量級Openpose的主干網絡當中,還在網絡中引入CA結構的注意力機制;將改進的YoloV5與改進的Openpose相結合,設計新的二階段行為識別網絡方法,依照距離特征和角度特征作為識別結果的判斷條件,使整個分心駕駛的識別過程既能保證檢測速度,又能在檢測精確度的方面進一步提高。
本發明授權一種基于改進YoloV5和Openpose的分心駕駛行為識別方法在權利要求書中公布了:1.一種基于改進YoloV5和Openpose的分心駕駛行為識別方法,其特征在于,包括如下步驟: 步驟一:圖像預處理:通過成像設備捕捉圖像,當圖像輸入后,對輸入圖像進行預處理操作,抑制圖像中的噪聲,改善圖像清晰度,處理圖像缺陷; 步驟二:改進YoloV5:為緩解目標尺寸劇烈變化帶來的負面影響,在原始YoloV5的淺層網絡上添加一個預測頭,使得整個目標檢測網絡能夠捕捉到更多的細節信息;同時對YoloV5的損失函數進行優化,所述優化使其能夠更好的在互斥類別數據集上進行訓練,提高模型的收斂效果; 步驟三:改進Openpose:在MobileNet網絡思想基礎上,利用逐點卷積升維的工作原理,將其應用到輕量級Openpose的主干網絡當中,解決深度可分離卷積在低維空間中信息丟失的問題,同時還在網絡中引入CA結構的注意力機制,避免計算資源利用不充分問題; 步驟四:將步驟二改進的YoloV5與步驟三改進的Openpose相結合,設計一種新的二階段行為識別網絡方法,依照距離特征和角度特征作為識別結果的判斷條件,使整個分心駕駛的識別過程,既能保證檢測速度,又能在檢測精確度的方面進一步提高; 所述步驟二中,為充分利用好Backbone在不同尺度上提取到的特征信息,讓改進后的目標檢測網絡能夠更好的適應多尺度小目標數據集,對YoloV5預測頭改進,在淺層網絡上添加一個P2預測頭,在特征圖每個像素點對應的感受野重疊區域較小時保證網絡能夠捕獲到跟多的細節信息,使網絡能更準確的檢測到小尺寸目標,以緩解目標尺寸劇烈變化帶來的負面影響,能夠檢測到數據集圖像中香煙和電話的存在; 所述步驟二中,還對YoloV5的損失函數進行優化,使用概率和輸出為1的Softmax函數對其進行優化,將所有標量轉換成概率分布問題,不單純的判斷誰大誰小,使其更針對于對應的類別互斥數據集場景; 對于任意實數矢量長度為T,Softmax把它壓縮在長度為T、取值在0,1區間的實數矢量,且矢量中各個元素之和為1,Softmax函數公式在數學上定義為: 對于公式中的ex,當x較大時,在代碼實現的過程中會出現內存溢出的情況;為了使Softmax在數值上更穩定,我們將各項指標的數值都處理在同一個數量級別上,首先將Softmax函數分子和分母同時乘以一個常數W,再使用log函數進行標準化,公式如下: 其中,z為輸出向量,zi和zt是其中的一個元素,分別表示z向量中第i個和第t個輸出類別的值;將Softmax函數輸出的向量與目標標簽向量做乘積運算得到最終的結果,以這種方式對損失函數進行優化可以更好的適用在應用場景上,有效的提高整體模型的收斂效果; 所述步驟四中,針對吸煙和接打電話的行為,通過分析這兩種行為動作的一致性,將步驟二改進的YoloV5與步驟三改進的Openpose相結合,設計出一種新的二階段行為識別網絡方法,包括如下: 第一階段: 首先,在吸煙和接打電話的過程中,目標物體與鼻子和耳朵之間的距離是最近的;其次,手肘都能形成一定的角度特征,并且這個角度小于90°;通過計算它們的距離特征和角度特征來判斷這個人表現出了哪些行為; 因此,先通過YoloV5框架得到該目標物體在圖像上的中心點位置M的坐標,表達式如下: M=xi,yi 其中,xi代表中心點橫坐標,yi代表中心點縱坐標; 第二階段: 再使用改進后的輕量級Openpose框架,對人體姿態18個骨骼關鍵點的位置信息進行提取,通過骨骼關鍵點的熱力圖和點與點之間的對應關系來組成人體骨架;記錄鼻子關鍵點位置坐標、右耳關鍵點位置坐標和左耳關鍵點位置N坐標,表達式如下: N=xj,yj 其中,xj代表關鍵點橫坐標,yj代表關鍵點縱坐標; 通過電話與左耳或右耳的歐幾里得距離來判斷圖像中的人是否有接打電話的行為,同樣通過香煙與鼻子的歐幾里得距離來判斷圖像中的人是否有吸煙的行為;歐幾里得距離d計算公式如下: 通過對歐幾里得距離的計算,當結果超過一定閾值時,即可判斷這個人是否有吸煙或者接打電話的行為;完成距離特征的判斷,其次還需要判斷角度特征,當人發生吸煙或接打電話的行為時,手肘是成一定角度進行彎曲,我們通過計算手腕、手肘和肩膀之間的角度大小θ進行判斷;通過姿態估計框架獲得一側手腕關鍵點位置A坐標、一側手肘關鍵點位置B坐標和一側肩膀關鍵點位置C坐標,分別記為公式: A=x4,y4 B=x3,y3 C=x2,y2 根據三個點的坐標信息計算各個邊的邊長,分別為: c=|AB| a=|BC| b=|AC| 將上述邊長a、b、c,通過余弦定理公式,計算手肘關節角度: 由于人與攝像頭的距離能夠影響兩個關鍵點之間的距離,因此此處引入角度特征θ作為距離特征的約束。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人遼寧科技大學,其通訊地址為:114000 遼寧省鞍山市立山區千山中路189號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。