杭州宇泛智能科技股份有限公司鄭東獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉杭州宇泛智能科技股份有限公司申請的專利基于多模態數據的場景空間三維模型動態建模方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119339008B 。
龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411885920.6,技術領域涉及:G06T17/00;該發明授權基于多模態數據的場景空間三維模型動態建模方法是由鄭東;趙五岳;趙拯;劉浩設計研發完成,并于2024-12-20向國家知識產權局提交的專利申請。
本基于多模態數據的場景空間三維模型動態建模方法在說明書摘要公布了:本申請實施例提供一種基于多模態數據的場景空間三維模型動態建模方法,通過融合視頻序列、點云數據和IMU數據的特征信息,采用粒子濾波算法建立時空對應關系。基于Transformer的多模態場景分析網絡實現場景語義理解,結合空間密度、深度遮擋和形狀變化特征計算場景評分,通過深度強化學習訓練的策略網絡選擇最優建模算法。同時,利用深度神經網絡和圖神經網絡分析場景動態特征,實現動態區域的自適應網格細分和幾何約束重建,根據場景語義類型動態調整重建閾值。該方法有效提升了大規模復雜場景的三維重建質量和效率。
本發明授權基于多模態數據的場景空間三維模型動態建模方法在權利要求書中公布了:1.一種基于多模態數據的場景空間三維模型動態建模方法,其特征在于,所述方法包括: 采集大規模室內外場景的視頻序列、點云數據和IMU數據,對所述視頻序列進行深度學習降噪和畸變校正,對所述點云數據進行空間降采樣和去噪,對所述IMU數據進行零偏校準和標定,從所述視頻序列中提取ORB圖像特征和深度信息,從所述點云數據中提取法向量特征和邊緣特征,從所述IMU數據中提取加速度序列和角速度序列,建立所述ORB圖像特征、所述深度信息、所述法向量特征、所述邊緣特征、所述加速度序列和所述角速度序列之間的時空對應關系,采用粒子濾波算法融合所述對應關系得到多源場景信息; 將所述多源場景信息映射為特征序列,對所述特征序列進行位置編碼,通過多頭自注意力機制計算特征間的關聯權重,利用前饋神經網絡對加權特征進行變換,構建語義分割頭網絡對場景要素進行分類,生成場景語義類型標簽圖,對點云空間進行遞歸八叉樹劃分,統計每個葉節點內的點云數量計算密度系數,構建相機視錐體模型對場景進行投影,計算投影重疊區域獲取復雜度系數,將所述法向量特征和所述邊緣特征組合構建局部幾何描述子,計算描述子的方差得到形狀變化系數,將所述密度系數、所述復雜度系數和所述形狀變化系數進行非線性加權得到場景評分,根據所述場景語義類型和所述場景評分構建多模態特征表示,在深度強化學習訓練的策略網絡中選擇建模算法和參數組合; 將所述視頻序列與所述深度信息輸入三維卷積神經網絡提取時空特征,通過反卷積層恢復場景空間分辨率,生成密集光流場,對所述點云數據構建拓撲鄰接圖,計算相鄰時刻點云節點的位移差異,生成描述局部形變的矢量場;對所述加速度序列進行重力補償和積分計算位移,對所述角速度序列進行積分獲取旋轉四元數,構建擴展卡爾曼濾波器狀態方程,將所述位移和所述旋轉四元數作為觀測量,基于運動學模型遞歸估計相機六自由度位姿參數,生成相機運動軌跡,將三維運動場、所述形變矢量場和所述運動軌跡輸入圖神經網絡預測場景動態區域,將所述建模算法和所述參數組合應用于所述動態區域進行自適應網格細分和幾何約束重建,根據所述場景語義類型計算動態閾值,當所述動態區域的重建誤差超過所述動態閾值時在所述策略網絡中重新選擇建模算法對所述動態區域進行重建。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人杭州宇泛智能科技股份有限公司,其通訊地址為:310000 浙江省杭州市余杭區倉前街道時尚萬通城3幢24層、25層、26層;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。