買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉四川大學申請的專利一種基于BERT的文本到圖像跨模態行人重識別方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116343256B 。

龍圖騰網通過國家知識產權局官網在2025-08-19發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111509721.1，技術領域涉及：G06V40/10；該發明授權一種基于BERT的文本到圖像跨模態行人重識別方法是由何小海;劉強;滕奇志;陳洪剛;卿粼波;吳曉紅設計研發完成，并于2021-12-10向國家知識產權局提交的專利申請。

本一種基于BERT的文本到圖像跨模態行人重識別方法在說明書摘要公布了：本發明公開了一種基于BERT的文本到圖像跨模態行人重識別方法。包括以下步驟：首先使用SR?ResNet50提取圖像特征；使用BERT和ResNet10級聯方式來提取文本特征。其次，為讓模型關注文本中的重要詞語和圖像中的顯著性區域，在圖像分支、文本分支和CRG網絡分支上都添加了RCBAM模塊。為消除文本與圖像模態差異，將文本和圖像特征拼接輸入CRG網絡學習模態不變特征表示。最后，將跨模態投影匹配損失，跨模態投影分類損失和跨模態采樣三元組損失聯合來訓練優化模型，最終，提高了跨模態行人重識別精度。本發明主要應用于視頻監控智能分析應用系統中，在文本到圖像檢索，重識別智能安防等領域具有開闊的應用前景。

本發明授權一種基于BERT的文本到圖像跨模態行人重識別方法在權利要求書中公布了：1.一種基于BERT的文本到圖像跨模態行人重識別方法，其特征在于以下步驟： 1首先將大小為384×128行人圖像輸入SR-ResNet50網絡得到圖像特征fV，該網絡在ResNet50的stage1～4后分別添加了一個RCBAM模塊；將文本輸入BERT網絡，得到特征ft，然后將ft輸入ResNet10網絡，得到文本特征fT；最后將特征fV和fT分別輸入到VG模塊，得到特征和 2為了消除文本和圖像模態差異，分別使用全局最大池化對圖像特征fV和文本特征fT進行處理，得到特征和然后使用“Concatenate”操作對特征和進行拼接，得到融合特征fV+T，最后將fV+T送入CRG模塊，得到特征f′V+T；通過CRG共享網絡來學習兩種模態不變的特征表示； 3為了增強文本中的關鍵屬性短語與圖像局部的聯系，讓模型學習關注文本描述中的重要屬性詞語和圖像中的顯著性區域，在圖像分支、文本分支和共享CRG網絡上都使用了RCBAM注意模塊； 4使用跨模態投影匹配損失，跨模態投影分類損失和跨模態難采樣三元組損失來聯合訓練優化網絡模型，最終有效提高文本到圖像跨模態行人重識別的精度； RCBAM模塊由通道注意模塊CAM和空間注意模塊SAM兩個組成；在RCBAM模塊中，輸入特征首先進行“通道注意”操作，然后進行“空間注意”操作，最后將輸出特征與輸入特征相加后輸出；相加操作在不增加額外參數和計算量的基礎上，加快模塊的訓練速度，提升模型的訓練效果； fc＝ψcf1 fs＝ψcf′2 其中表示逐個元素的加法，示逐個元素的乘積，ψc表示通道注意操作，ψs表示空間注意操作；在加法過程中，相應的傳播注意值:通道注意值沿著空間維度傳播，反之亦然；f″是最終的精煉輸出； 在圖像分支網絡上加入RCBAM注意模塊，可以引導網絡更好地關注圖像中的目標對象；在文本分支上加入RCBAM注意模塊，可以使網絡更好地關注文本中的關鍵屬性詞語；同時，我們在共享CRG網絡部分也增加了RCBAM模塊，可以讓網絡更好地學習關注模態不變的特征表示； 我們利用特征間的通道關系來提獲取道注意圖，為有效地計算通道注意力，我們對輸入特征圖的空間維度進行壓縮；對于空間信息的聚集，目前普遍采用全局平均池化方法；由于最大池化可以收集特征中響應最大、最強烈的部分，即我們期望獲取顯著的特征，從而可以得到更好的通道注意；因此，我們同時使用全局平均池和全局最大池特性； 首先，我們使用全局平均池化和全局最大池化操作聚合特征圖的空間信息，生成兩種不同的空間上下文描述符；和分別表示平均池化特征和最大池化特征；然后，這兩個描述符被輸入到一個共享網絡MLP中，在中生成我們的通道注意力特征ψc；該共享網絡由多層感知器MLP和一個隱含層組成；為了減少參數開銷，隱藏的激活大小被設置為其中R是縮減比；在將共享網絡應用到每個描述符之后，我們使用元素求和操作來合并輸出特征向量；簡而言之，通道注意被計算為： 其中σ表示sigmoid函數，在和在請注意MLP權重W0和W1對兩個輸入都是共享的，而ReLU激活函數后面跟著W0； 輸入特征在通道層面上使用平均池化和最大池化操作得到兩個2D特征圖：和然后用標準的卷積層將它們連接和卷積，生成我們的二維空間注意力圖；簡而言之，空間注意的計算為： 其中σ表示sigmoid函數，f3×3表示濾波器大小為3×3的卷積操作。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人四川大學，其通訊地址為：610065 四川省成都市武侯區一環路南一段24號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。