買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉昆明理工大學(xué)申請(qǐng)的專利一種基于Transformer的跨模態(tài)融合目標(biāo)檢測(cè)方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114966696B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-22發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202111588292.1，技術(shù)領(lǐng)域涉及：G01S13/931；該發(fā)明授權(quán)一種基于Transformer的跨模態(tài)融合目標(biāo)檢測(cè)方法是由沈韜;向思佳;曾凱;馬倩;張小青設(shè)計(jì)研發(fā)完成，并于2021-12-23向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于Transformer的跨模態(tài)融合目標(biāo)檢測(cè)方法在說明書摘要公布了：本發(fā)明涉及一種基于Transformer的跨模態(tài)融合目標(biāo)檢測(cè)方法，屬于圖像處理技術(shù)領(lǐng)域。本發(fā)明利用雷達(dá)傳感器收集雷達(dá)數(shù)據(jù)同時(shí)攝像頭收集圖像數(shù)據(jù)。將毫米波雷達(dá)信息與圖像信息進(jìn)行對(duì)齊操作，包括時(shí)間對(duì)齊和空間坐標(biāo)轉(zhuǎn)換，同時(shí)將雷達(dá)特征映射到圖像平面上。依據(jù)雷達(dá)物理特性對(duì)雷達(dá)信息進(jìn)行預(yù)處理。構(gòu)建特征提取網(wǎng)絡(luò)，分別提取雷達(dá)特征和圖像特征。設(shè)計(jì)雷達(dá)與視覺特征交互融合模塊，充分考慮跨模態(tài)信息交互和上下文環(huán)境信息的補(bǔ)充學(xué)習(xí)。本發(fā)明與現(xiàn)有技術(shù)相比，將周圍環(huán)境信息結(jié)合跨模態(tài)信息進(jìn)行聯(lián)合學(xué)習(xí)。解決了傳統(tǒng)方法僅僅只能獲取相同位置信息，缺乏對(duì)周圍環(huán)境信息的感知的問題，同時(shí)降低了在惡劣天氣和復(fù)雜場(chǎng)景下的誤檢率以及漏檢率。

本發(fā)明授權(quán)一種基于Transformer的跨模態(tài)融合目標(biāo)檢測(cè)方法在權(quán)利要求書中公布了：1.一種基于Transformer的跨模態(tài)融合目標(biāo)檢測(cè)方法，其特征在于： Step1：分別從毫米波雷達(dá)傳感器及攝像頭提取雷達(dá)數(shù)據(jù)信息以及視覺圖像信息； Step2：將雷達(dá)信息以點(diǎn)云數(shù)據(jù)的形式呈現(xiàn)，并將兩種模態(tài)的數(shù)據(jù)進(jìn)行時(shí)間與空間的對(duì)齊； Step3：使用坐標(biāo)轉(zhuǎn)換將3D雷達(dá)點(diǎn)云信息映射到圖像的2D平面上，映射后的雷達(dá)信息是一個(gè)含有18個(gè)通道的矩陣，其大小與圖像矩陣保持一致； Step4：對(duì)單個(gè)雷達(dá)點(diǎn)進(jìn)行擴(kuò)充增強(qiáng)； Step5：將經(jīng)過增強(qiáng)后的雷達(dá)信息與圖像數(shù)據(jù)進(jìn)行特征提取及融合； Step6：最后，對(duì)其進(jìn)行分類和識(shí)別； 所述Step3具體步驟為： Step3.1：首先明確雷達(dá)點(diǎn)映射到圖像平面的初始位置，記為Oi； 其中，xi是第i個(gè)雷達(dá)點(diǎn)的垂直偏移，h是雷達(dá)傳感器安裝的初始高度，τ和是超參數(shù)，分別是位置因子和垂直偏移因子； Step3.2：為了補(bǔ)充雷達(dá)傳感器檢測(cè)目標(biāo)時(shí)，目標(biāo)高度信息的缺失，將單個(gè)雷達(dá)點(diǎn)擴(kuò)展成為縱向擴(kuò)充的線段線段長(zhǎng)度基于不同目標(biāo)的雷達(dá)散射截面積RCSi以及距離disti進(jìn)行自適應(yīng)調(diào)整，以擬合目標(biāo)呈現(xiàn)在圖像的真實(shí)高度： 其中，α和β為超參數(shù)，分別為距離因子和散射截面積因子； Step3.3：基于雷達(dá)點(diǎn)初始位置Oi，進(jìn)行高度上的增強(qiáng)，將增強(qiáng)線段分為兩個(gè)部分l1和l2： Step3.4：依據(jù)雷達(dá)散射截面積RCSi對(duì)目標(biāo)進(jìn)行橫向增強(qiáng)，增強(qiáng)寬度為Si，以補(bǔ)充缺失的寬度信息； 所述Step4具體步驟為： Step4.1：明確雷達(dá)點(diǎn)映射在圖像上的空間位置坐標(biāo)； Step4.2：依據(jù)目標(biāo)距離傳感器的距離以及雷達(dá)傳回的雷達(dá)截面積進(jìn)行建模，獲取目標(biāo)顯示在圖像上的高度，將高度記為 Step4.3：將原始雷達(dá)點(diǎn)依據(jù)獲取的高度在圖像上擴(kuò)充成一條長(zhǎng)度為的線段； Step4.4：基于雷達(dá)截面積信息對(duì)增強(qiáng)的線段橫向擴(kuò)充，擴(kuò)充寬度為S，此時(shí)經(jīng)過完整增強(qiáng)后的是一個(gè)矩形區(qū)域，該區(qū)域即為雷達(dá)重點(diǎn)關(guān)注區(qū)域，且該區(qū)域內(nèi)的全部信息都與增強(qiáng)前的單個(gè)雷達(dá)點(diǎn)信息保持一致； 所述Step5具體步驟為： Step5.1：使用VGG16作為特征提取網(wǎng)絡(luò)，輸入分別為雷達(dá)信息與圖像信息，經(jīng)過每一個(gè)block后進(jìn)行特征融合； Step5.2：構(gòu)建RC-Attention，實(shí)現(xiàn)不同模態(tài)相似性的計(jì)算； Step5.3：基于RC-Attention構(gòu)建特征融合模塊Multi-Transformer，實(shí)現(xiàn)特征的跨模態(tài)融合及上下文信息的交互； 所述特征提取網(wǎng)絡(luò)使用VGG16，并在每個(gè)block之間進(jìn)行跨模態(tài)特征的融合； 在特征提取網(wǎng)絡(luò)第三、四、五個(gè)block之后，使用Multi-Transformer模塊進(jìn)行多模態(tài)特征的融合； 模塊的輸入分別為雷達(dá)特征，以及圖像特征，在Encoder和Decoder中實(shí)現(xiàn)模態(tài)間以及模態(tài)內(nèi)的相似性計(jì)算，其中RC-Attention通過計(jì)算兩個(gè)模態(tài)特征圖中任意位置信息的相似性，賦予不同模態(tài)間相似性權(quán)重，實(shí)現(xiàn)跨模態(tài)特征匹配，從而達(dá)到跨模態(tài)信息的交互； 輸出為融合了圖像信息的雷達(dá)特征，以及融合了雷達(dá)信息的圖像特征。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人昆明理工大學(xué)，其通訊地址為：650093 云南省昆明市五華區(qū)學(xué)府路253號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。