買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉中國科學院長春光學精密機械與物理研究所申請的專利基于多模態神經網絡框架的人體姿態識別方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120048006B 。

龍圖騰網通過國家知識產權局官網在2025-08-19發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510536638.5，技術領域涉及：G06V40/20；該發明授權基于多模態神經網絡框架的人體姿態識別方法是由張以撒;呂恒毅;趙宇宸;馮陽;孫銘設計研發完成，并于2025-04-27向國家知識產權局提交的專利申請。

本基于多模態神經網絡框架的人體姿態識別方法在說明書摘要公布了：本發明涉及計算機視覺和神經網絡處理技術領域，尤其涉及一種基于多模態神經網絡框架的人體姿態識別方法。包括：采集事件數據，利用五通道事件表示方法表示事件數據；將預處理后的五通道事件數據分為三個通道，空間、事件特性和點云通道；完成通道拆分后，分別進行特征提取，通過動態特征增強以及跨模態融合，將不同模態的特征進行優化和整合；采用骨架約束模塊和時空聯合處理模塊，增強網絡對人體結構的理解和時空依賴關系建模；采用預測頭模塊，輸出最終的人體關鍵點坐標；采用多任務學習框架進行訓練優化，得到姿態識別結果。優點在于：有效地處理事件數據的稀疏異步特性，解決靜態肢體的“盲點問題”，保持低功耗、實現高精度的人體姿態估計。

本發明授權基于多模態神經網絡框架的人體姿態識別方法在權利要求書中公布了：1.一種基于多模態神經網絡框架的人體姿態識別方法，其特征在于：具體包括如下步驟： S1.數據預處理：采集事件數據，利用五通道事件表示方法表示事件數據；五通道事件表示方法如下：E'=（x，y，T，P，E； 其中，x、y為像素位置，T為平均時間戳，P為累積極性，E為事件計數； S2.通道拆分與三模態分離：將步驟S1預處理后的五通道事件數據分為三個通道，分別如下：空間通道，包含歸一化空間坐標x，y；事件特性通道，包含時間和極性特征T，P，E；點云通道：將完整五通道數據視為點云數據，保留事件的原始三維特性； S3.多模態特征提取：完成通道拆分后，分別對空間通道、事件特性通道、點云通道的數據進行特征提取； S4.動態特征增強與跨模態融合：特征提取后，通過動態特征增強以及跨模態融合，將不同模態的特征進行優化和整合；具體包括： S401.動態特征增強：動態特征增強模塊通過通道注意力和空間注意力機制，依據輸入特征的統計信息，分別對事件特征和空間特征進行自適應增強處理，增強關鍵特征； S402.跨模態融合：采用跨模態自適應融合模塊對特征進行跨模態融合； S5.骨架約束與時空處理：在特征融合之后，采用骨架約束模塊和時空聯合處理模塊，增強網絡對人體結構的理解和時空依賴關系；骨架約束模塊是將脈沖神經網絡與圖卷積相結合，在標準圖卷積運算中引入脈沖神經元機制，其流程如下： 先執行標準圖卷積操作：；將所得結果Z輸入至脈沖神經元：； 其中，X是輸入特征，W是權重矩陣，b是偏置，?=A+I是添加自連接的鄰接矩陣，D?是?的度矩陣，SpikeNeuron為脈沖激活函數； 為增強人體結構合理性，設計骨骼長度一致性損失函數： ； 其中，bone是人體骨架模型中連接兩個關鍵點關節的線段，bones是構成完整人體骨架的所有連接線段，lengthbone是骨骼的長度，std表示標準差； S6.關鍵點預測與訓練：采用預測頭模塊，輸出最終的人體關鍵點坐標； S7.利用步驟S1的預處理后數據，重復步驟S2~S6進行訓練，訓練方法包含三級損失函數，并使用替代梯度方法進行反向傳播實現端到端訓練，得到姿態識別結果；損失函數表示如下： ； 其中，L pose是關鍵點位置損失，使用均方誤差計算預測關鍵點與真實關鍵點之間的差異；λ bone表示骨架約束損失的權重系數，L bone是骨架約束損失，確保預測的骨骼長度符合物理約束；λ temp表示時序一致性損失的權重系數，L temp是時序一致性損失，鼓勵連續幀之間的平滑過渡。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中國科學院長春光學精密機械與物理研究所，其通訊地址為：130033 吉林省長春市經濟技術開發區東南湖大路3888號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。