買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉杭州電子科技大學申請的專利一種跨模態交互RGB-D圖像顯著區域檢測方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114445618B 。

龍圖騰網通過國家知識產權局官網在2025-08-19發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111665038.7，技術領域涉及：G06V10/25；該發明授權一種跨模態交互RGB-D圖像顯著區域檢測方法是由周洋;任建凱;徐巖;俞定國;楊陽;涂海程;殷海兵設計研發完成，并于2021-12-31向國家知識產權局提交的專利申請。

本一種跨模態交互RGB-D圖像顯著區域檢測方法在說明書摘要公布了：本發明方法公開了一種跨模態交互RGB?D圖像顯著區域檢測方法。本發明方法首先分別從彩色圖和深度圖中利用VGG16網絡提取RGB特征和深度特征；然后在RGB?D交互模塊中RGB特征和深度特征相互糾正，并增強邊緣細節；深度權重分配模塊中根據深度特征計算處理后的多個特征的融合權重；最后在注意力更新模塊中細化融合后的特征。本發明方法將RGB與深度聯系起來，通過補充豐富的邊界信息來增強目標區域；在多尺度深度權重模塊中計算權重，根據深度圖的質量來決定其對顯著區域的影響程度，消除了低質量深度圖帶來的負面影響，并提升算法的整體性能。本發明方法可以直接應用在3D圖像處理，3D質量評估以及物體識別等工程領域中。

本發明授權一種跨模態交互RGB-D圖像顯著區域檢測方法在權利要求書中公布了：1.一種跨模態交互RGB-D圖像顯著區域檢測方法，其特征在于： 首先分別從彩色圖和深度圖中利用VGG16網絡提取RGB特征和深度特征；其次在RGB-D交互模塊中RGB特征和深度特征相互糾正，并增強邊緣細節；然后在深度權重分配模塊中根據深度特征計算處理后的多個特征的融合權重；最后在注意力更新模塊中細化融合后的特征，并得到最終顯著圖；步驟如下： 步驟1從兩個改進的VGG16網絡中分別提取深度特征和RGB特征，并設計綜合考慮像素級、邊緣、區域損耗的損失函數；所述的VGG16網絡結構包含13個卷積層，3個全連接層，5個池化層； 1-1去掉全連接層； 1-2綜合邊緣、像素、區域的預測誤差，總損失函數L＝Lbce+Le+Lr；其中，Lbce為二元交叉損失，Le為增強邊緣損失，Lr為區域預測損失； N是輸入圖像中的像素總數,H、W分別是輸入圖像的高度和寬度； 計算每個位置的像素真值g和預測值p之間的誤差，然后累加并平均所有位置的誤差得到增強邊緣損失中間參數其中，ρ·表示具有5×5滑動窗口的平均池化運算，P＝{p|0＜p＜1}∈RN×1×H×W，G＝{g|0＜g＜1}∈RN×1×H×W；通過e得到接近真值圖輪廓的局部區域，在這個區域計算出預測值p與像素真值g之間的差值Le；前景預測損失背景預測損失步驟2在RGB-D交互模塊中補充RGB特征，修正深度圖帶來的錯誤，并增強邊緣特征；舍棄了從VGG16提取的前兩層低級特征，在三個RGB-D交互模塊中分別處理第l層RGB特征與深度特征，l＝3,4,5,具體是： 2-1跨通道注意單元處理：首先，將深度圖0-1分成m個二進制標識圖，以找到對顯著性檢測有用的深度區域；對于第i個標識圖，如果其像素在深度圖的對應像素值大于且小于則標識圖中此像素值為1，否則為0；對于RGB模塊，首先生成一個由真值圖監督的粗略的初始顯著圖Spr，是通過卷積運算Conv·從RGB特征的第5層生成初始顯著性圖，即其中為從VGG16網絡中提取的第5層RGB特征； 深度特征補充RGB特征的計算過程為：交互處理后的第l層RGB特征其中，為第l層的RGB特征，N為圖像中的像素總數，di表示第i個二進制標識圖，di,j表示第i個標識圖中第j個像素的像素值，Sj pr表示初始顯著圖Spr中的第j個像素的像素值； 對進一步處理：其中，Conv·表示卷積運算；Cat·表示拼接運算；CA·為通道注意運算，包括一個平均池化運算和一個最大池化運算；S″為初始顯著圖的變換形式，當l＝5時，S″＝Spr，其余情況下S″＝1-Spr； 對于深度特征的處理，以初始顯著圖為基礎，把多個二進制標識圖進行加權處理， 為從VGG16網絡中學習的第l層深度特征； 2-2邊界增強單元處理：設計一個多尺度邊界特征提取器，包含四個具有不同感受野1，3，5，7的并行擴張卷積塊，然后結合得到顯著邊緣增強特征和每一級的顯著特征，顯著邊緣增強特征 表示元素加法，Fb表示在多尺度邊界特征提取器之后從RGB模式中提取的邊界特征，Fl為從VGG16網絡中提取的深度RGB特征；對于Fb，由顯著真值圖生成的邊緣真值圖監督； 步驟3深度權重分配模塊中根據深度特征計算處理后的多個特征的融合權重，根據深度特征的特點來融合步驟2中增強后的兩種特征，具體是： 在提取深度特征的VGG16網絡之后增加一個全局池化層和一個卷積層；處理第5層深度特征得到k個相同分辨率但上下文不同的多尺度特征；對第k個多尺度深度特征進行全局平均池化處理后再卷積處理，使用softmax函數計算對應的深度權重其中，AvePooling·表示平均池化運算，V表示對應的卷積參數矩陣，*表示卷積運算，δ·表示softmax函數； 兩種增強后特征融合后的三層增強特征 為深度邊界增強特征，為RGB邊界增強特征，為深度交互增強特征,為RGB交互增強特征，w為深度權重分配計算時的權重，其中K為多尺度深度特征的數量，K＝6； 步驟4在注意力更新模塊中細化融合后的特征，結合注意力機制和ConvLSTM網絡更新顯著特征，具體是： 根據ht和Fs生成的注意力圖Attcht,Fs＝δAvgPoolingW0*ht+W1*Fs；其中下標t表示ConvLSTM中的時間步長，W0和W1分別為ht和Fs的權重參數，ht表示用于記憶場景的先前存儲記憶，Fs為輸入特征； 表示元素乘法； 將注意力塊處理后的特征輸入ConvLSTM，進一步更新不同語義特征之間的空間相關性； 經過更新后迭代后，獲得最終特征FM,通過1×1的卷積層和上采樣操作得到最終的顯著圖S。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人杭州電子科技大學，其通訊地址為：310018 浙江省杭州市下沙高教園區2號大街；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。