買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉南京理工大學(xué)申請的專利基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測與三維定位方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114638794B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-22發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202210214242.5，技術(shù)領(lǐng)域涉及：G06T7/00；該發(fā)明授權(quán)基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測與三維定位方法是由周靜;宋先義;郭玲設(shè)計研發(fā)完成，并于2022-03-04向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測與三維定位方法在說明書摘要公布了：本發(fā)明公開了一種基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測與三維定位方法，包括步驟：創(chuàng)建數(shù)據(jù)集，構(gòu)建裂縫檢測網(wǎng)絡(luò)模型，并訓(xùn)練保存最優(yōu)模型；將慣性測量單元IMU與相機KinectV2采集的數(shù)據(jù)采用非線性優(yōu)化的緊耦合方式進行融合，并在視覺SLAM的跟蹤線程中完成位姿估計；在跟蹤線程對實時采集的每一幀圖像進行判斷，篩選出關(guān)鍵幀，通過裂縫檢測模型對關(guān)鍵幀進行語義分割，提取出裂縫信息；將裂縫信息與KinectV2采集的深度信息融入視覺慣性SLAM框架中，完成包含裂縫信息的稠密點云地圖構(gòu)建，實現(xiàn)裂縫的三維定位。本發(fā)明方法實現(xiàn)了裂縫的實時檢測及其在三維環(huán)境中的定位，同時具有較高的檢測準確率和較好的魯棒性。

本發(fā)明授權(quán)基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測與三維定位方法在權(quán)利要求書中公布了：1.一種基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測與三維定位方法，其特征在于，具體包括步驟: S1、構(gòu)建裂縫檢測網(wǎng)絡(luò)模型，通過數(shù)據(jù)集對裂縫檢測網(wǎng)絡(luò)模型進行訓(xùn)練，得到最優(yōu)模型； S2、對慣性測量單元與相機采集的數(shù)據(jù)，采用非線性優(yōu)化的緊耦合方式進行數(shù)據(jù)融合，并在視覺SLAM的跟蹤線程中完成位姿估計； S3、在跟蹤線程中對實時采集的每一幀圖像進行判斷，篩選出關(guān)鍵幀，通過裂縫檢測網(wǎng)絡(luò)模型對關(guān)鍵幀進行語義分割，提取出裂縫信息； S4、將步驟S3得到的裂縫信息與相機采集的數(shù)據(jù)融入視覺SLAM框架中，進行包含裂縫信息的稠密點云地圖構(gòu)建，完成裂縫的三維定位； 所述步驟S1具體包括： 步驟S1-1，采集原始數(shù)據(jù)并進行數(shù)據(jù)擴充構(gòu)建數(shù)據(jù)集，對數(shù)據(jù)集進行歸一化處理，并采用直方圖均衡化、高斯雙邊濾波進行圖像預(yù)處理； 步驟S1-2，對預(yù)處理后的圖像進行標(biāo)注，裂縫區(qū)域標(biāo)記為白色，非裂縫區(qū)域標(biāo)記為黑色，得到掩膜圖像并保存，將數(shù)據(jù)集分成訓(xùn)練集和測試集； 步驟S1-3，搭建裂縫檢測網(wǎng)絡(luò)模型，包含四次下采樣和四次上采樣：下采樣每次先采用3×3的和1×1的卷積核進行卷積，然后使用ReLu激活函數(shù)對卷積后的圖像進行激活，再與原始的輸入信息級聯(lián)后，采用尺度為2×2的池化進行下采樣，之后的結(jié)果作為下一層卷積的輸入；上采樣即模型進入第六層時，將第五層的輸出作為門信號，先將門信號通過1×1的反卷積擴張為原來的2倍，再與模型第四層的輸出分別輸入到設(shè)置好的AG模塊中，數(shù)據(jù)經(jīng)過AG模塊處理后，輸出信號再和經(jīng)過上采樣的門信號級聯(lián)輸出，進入卷積核大小為3×3的卷積層，輸出結(jié)果與第六層的原始輸入信號級聯(lián)，作為第七層的輸入，依此類推，在網(wǎng)絡(luò)的最后一層用一個1×1的卷積將每個64維的特征向量映射到輸出層； 步驟S1-4，基于訓(xùn)練集對裂縫檢測網(wǎng)絡(luò)模型進行迭代訓(xùn)練，并通過測試集驗證，直至獲取滿足設(shè)定值的最優(yōu)模型； 所述訓(xùn)練集和測試集比例為7:3，訓(xùn)練集中包含的有裂縫圖像和無裂縫圖像數(shù)量相等； 所述步驟S2具體包括： S2-1，分別對相機和慣性測量單元進行標(biāo)定得到各自內(nèi)參數(shù)，再對二者進行聯(lián)合標(biāo)定，得到轉(zhuǎn)換矩陣和時差； S2-2，通過慣性測量單元的誤差模型和運動模型計算其連續(xù)幀間的預(yù)積分模型,并對陀螺儀偏置、重力加速度、速度進行初始化，完成視覺慣性聯(lián)合初始化； S2-3，將預(yù)積分模型預(yù)積分后和視覺信息采用緊耦合的方式進行數(shù)據(jù)融合，并對視覺重投影誤差和慣性測量單元殘差采用基于滑動窗口邊緣化的非線性優(yōu)化模型進行位姿估計，并通過目標(biāo)優(yōu)化函數(shù)確定優(yōu)化后的位姿； 所述預(yù)積分模型為： 其中，i和j為相鄰的兩個關(guān)鍵幀,δφij、δvij、δpij分別表示慣性測量單元的旋轉(zhuǎn)、速度、位置測量時的噪聲,Ri、vi、pi分別表示第i個關(guān)鍵幀的相對旋轉(zhuǎn)矩陣，速度與平移量；Rj、vj、pj分別表示第j個關(guān)鍵幀的相對旋轉(zhuǎn)矩陣，速度與平移量；Δtij表示i,j兩個時刻的時間差； 所述非線性優(yōu)化模型為： 其中，為慣性測量單元的殘差模型，其中X為待優(yōu)化的變量，為慣性測量單元預(yù)積分的值，ep、eq、ev、eba、ebg分別為慣性測量單元預(yù)積分中的位置，速度，姿態(tài)以及陀螺儀零偏，加速度計零偏，b為隨機游走噪聲，β為白噪聲；為慣性測量單元的視覺重投影誤差，ξi為相機位姿所對應(yīng)的李代數(shù)，mj為一個三維地圖點，pij為三維地圖點在圖像中對應(yīng)的像素點； 所述目標(biāo)優(yōu)化函數(shù)為： 其中，B表示所有慣性測量單元測量的集合，k表示第k個圖像，Hp表示先驗信息的海森矩陣，γp、γB表示各優(yōu)化變量的雅可比矩陣； 所述步驟S3中篩選出關(guān)鍵幀的篩選規(guī)則為滿足以下規(guī)則其中之一： 1距離上次參考關(guān)鍵幀至少20幀； 2當(dāng)前幀距離上次關(guān)鍵幀插入至少間隔20幀或局部線程處于空閑狀態(tài)； 3當(dāng)前幀至少能跟蹤到50個特征點； 4當(dāng)前幀跟蹤到的三維地圖點要比參考關(guān)鍵幀多80％以上，確保重疊率低； 所述步驟S4具體包括： S4-1、將經(jīng)過視覺SLAM跟蹤、局部BA優(yōu)化和回環(huán)矯正篩選出的關(guān)鍵幀所對應(yīng)的彩色地圖和深度地圖進行稠密點云建圖，得到稠密點云地圖； S4-2、將步驟3對所有關(guān)鍵幀進行語義分割得到的裂縫信息，通過坐標(biāo)轉(zhuǎn)換關(guān)系映射到稠密點云地圖中，針對連續(xù)關(guān)鍵幀間的語義標(biāo)簽不一致采用貝葉斯更新，即： 其中，三維地圖點設(shè)為Vd，表示目前所有關(guān)鍵幀集合，lk表示一個三維體素的類別，表示該三維地圖點在語義標(biāo)簽集合上的獨立分布概率分布； 在新關(guān)鍵幀到來時通過更新三維地圖點云的語義信息，獲取全局一致的帶有裂縫信息的稠密點云地圖，通過稠密點云地圖獲得裂縫的三維位置信息。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人南京理工大學(xué)，其通訊地址為：210094 江蘇省南京市孝陵衛(wèi)200號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。