買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉西安交通大學(xué)申請的專利基于注意力機制的無監(jiān)督域適應(yīng)提示微調(diào)方法及相關(guān)裝置獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN117218415B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-15發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202311136648.7，技術(shù)領(lǐng)域涉及：G06V10/764；該發(fā)明授權(quán)基于注意力機制的無監(jiān)督域適應(yīng)提示微調(diào)方法及相關(guān)裝置是由陳霸東;白雙豪;周婉琪;欒智榮;黨路娟設(shè)計研發(fā)完成，并于2023-09-04向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于注意力機制的無監(jiān)督域適應(yīng)提示微調(diào)方法及相關(guān)裝置在說明書摘要公布了：本發(fā)明公開了一種基于注意力機制的無監(jiān)督域適應(yīng)提示微調(diào)方法及相關(guān)裝置，通過提示學(xué)習(xí)引入少量可學(xué)習(xí)參數(shù)并凍結(jié)整個CLIP模型，可以快速高效地將模型適應(yīng)于域自適應(yīng)圖片分類任務(wù)。同時，為了進(jìn)一步提升準(zhǔn)確度，引入了注意力機制，建立兩個域的特征庫以得到注意力特征對，注意力特征對和輸入圖片的特征一并輸入注意力模塊以得到融合了源域和目標(biāo)域信息的特征，該特征用于后續(xù)的分類。設(shè)計的注意力分支的框架可以更好地捕捉到目標(biāo)域的域不變特征，故而提升域自適應(yīng)圖片分類的準(zhǔn)確率。

本發(fā)明授權(quán)基于注意力機制的無監(jiān)督域適應(yīng)提示微調(diào)方法及相關(guān)裝置在權(quán)利要求書中公布了：1.基于注意力機制的無監(jiān)督域適應(yīng)提示微調(diào)方法，其特征在于，包括以下步驟： 凍結(jié)對比學(xué)習(xí)語言-圖像預(yù)訓(xùn)練模型CLIP中的圖片特征提取器和文本特征提取器的可學(xué)習(xí)參數(shù)； 學(xué)習(xí)對比學(xué)習(xí)語言-圖像預(yù)訓(xùn)練模型CLIP中的提示與注意力模塊的參數(shù)，構(gòu)建源域特征庫和目標(biāo)域特征庫； 將對比學(xué)習(xí)語言-圖像預(yù)訓(xùn)練模型CLIP分為基準(zhǔn)分支和注意力分支，利用根據(jù)源域特征庫和目標(biāo)域特征庫進(jìn)行訓(xùn)練，完成對比學(xué)習(xí)語言-圖像預(yù)訓(xùn)練模型CLIP的無監(jiān)督域適應(yīng)提示微調(diào)； 所述利用根據(jù)源域特征庫和目標(biāo)域特征庫進(jìn)行訓(xùn)練，對于基準(zhǔn)分支： 將提示插入圖片和文本兩端的輸入中，圖像的預(yù)測后驗概率分布由式1表示；使用對比學(xué)習(xí)語言-圖像預(yù)訓(xùn)練模型CLIP生成偽標(biāo)簽；設(shè)置一個固定閾值，用于過濾掉不可靠的偽標(biāo)簽；如果對比學(xué)習(xí)語言-圖像預(yù)訓(xùn)練模型CLIP對于給定圖像預(yù)測的最大概率低于此閾值，則將丟棄偽標(biāo)簽；采用交叉熵作為損失函數(shù)進(jìn)行模型的訓(xùn)練： 其中，為基準(zhǔn)分支中源域數(shù)據(jù)的損失函數(shù)，為源域數(shù)據(jù)的批量數(shù)，為最大值的索引，為一個批次的源域數(shù)據(jù)的概率分布，為基準(zhǔn)分支中目標(biāo)域數(shù)據(jù)的損失函數(shù)，為目標(biāo)域數(shù)據(jù)的批量數(shù)，為一個批次的目標(biāo)域數(shù)據(jù)的概率分布，為源域圖片數(shù)據(jù)，為真實的源域標(biāo)簽，為目標(biāo)域圖片數(shù)據(jù)，為目標(biāo)域過濾后的偽標(biāo)簽，和分別是源域圖片和目標(biāo)域圖片特征與其文本特征的相似度，為提示的可學(xué)習(xí)參數(shù)； 所述利用根據(jù)源域特征庫和目標(biāo)域特征庫進(jìn)行訓(xùn)練，對于注意力分支： 首先應(yīng)用一個權(quán)值共享的投影層，將一張輸入的圖像特征、源域特征庫和目標(biāo)域特征庫轉(zhuǎn)換為相應(yīng)的查詢、鍵和值表示，表示為： 應(yīng)用自注意力和交叉注意力來捕捉特征之間的依賴關(guān)系，具體表示為： 其中，為與源域特征庫的融合特征，為源域特征庫轉(zhuǎn)換后的值的轉(zhuǎn)置，為轉(zhuǎn)置，為縮放超參數(shù)，為與目標(biāo)域特征庫的融合特征，為目標(biāo)域特征庫轉(zhuǎn)換后的值的轉(zhuǎn)置； 使用另一個權(quán)值共享的投影層再次投影注意力值，表示為： 其中，為重映射的與源域特征庫的融合特征，為重映射的與源域特征庫的融合特征。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人西安交通大學(xué)，其通訊地址為：710049 陜西省西安市碑林區(qū)咸寧西路28號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。