西北工業大學閆慶森獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉西北工業大學申請的專利一種基于自監督預訓練的圖像美學評估方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN116664976B 。
龍圖騰網通過國家知識產權局官網在2025-08-08發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202310638035.7,技術領域涉及:G06V10/774;該發明授權一種基于自監督預訓練的圖像美學評估方法是由閆慶森;張艷寧;孫瑾秋;劉勝強;朱宇設計研發完成,并于2023-06-01向國家知識產權局提交的專利申請。
本一種基于自監督預訓練的圖像美學評估方法在說明書摘要公布了:本發明公開了一種基于自監督預訓練的圖像美學評估方法,首先輸入無標簽數據集,得到增強視圖;然后將增強視圖輸入由編碼器和擴展器組成的美學表征提取網絡;再用自監督的方法訓練美學表征提取網絡,得到訓練后的美學表征提取網絡編碼器;將自監督訓練后的編碼器加上回歸分類頭,組成教師網絡模型;使用有標簽數據集微調教師網絡模型;最后通過自訓練解決過擬合問題。本發明可以解決圖像美學評估的有監督學習方法中需要大量有標簽數據的缺點,有效地減少過度擬合并提高網絡性能。
本發明授權一種基于自監督預訓練的圖像美學評估方法在權利要求書中公布了:1.一種基于自監督預訓練的圖像美學評估方法,其特征在于,包括如下步驟: 步驟1:輸入無標簽數據集U,得到增強視圖t、t′; 輸入無標簽圖像ti,·∈U并從分布T中采樣兩個變換以生成增強視圖t和t′;分布T是一個由數據增強策略生成的概率分布,包含兩個變換函數,一個是仿射變換函數Ta,另一個是非剛性變換函數Tb,這兩個變換函數都是從T中隨機采樣得到的,使用變換函數生成增強視圖t和t′過程如下: t=Tati,t′=Tbti1 步驟2:將增強視圖t、t′輸入編碼器和擴展器,得到輸出z、z′; 視圖t、t′被輸入到編碼器中,然后由擴展器映射嵌入輸出z和z′;由編碼器和擴展器組成美學表征提取網絡; 步驟3:使用自監督的方法訓練美學表征提取網絡,得到訓練后的美學表征提取網絡編碼器; 所述自監督的方法是將來自同一圖像的兩個嵌入輸出z、z′之間的距離最小化,每個嵌入變量的方差保持在設定閾值以上,同時成對嵌入變量之間的協方差被吸引到零,使變量去相關;整體損失函數是不變性s·、方差v·和協方差c·項的加權平均值,如下所示: lZ,Z′=λsZ,Z′+μ[vZ+vZ′]+γ[cZ+cZ′]2 式中,λ、μ和γ是控制損失中每個項的重要性的權重,Z=[z1,...,zn]和Z′=[z′1,...,z′n]是兩個大小為n的批次; 在未標記數據集U上的所有圖像上獲取的總體目標函數由下式給出: L=∑I∈U∑t,t′∈TlZI,Z′I3 式中,ZI與Z′I是圖像I通過t與t′變換對應的兩個批次的美學表征提取網絡嵌入輸出; 完成自監督預訓練后,移除擴展器僅保留編碼器; 步驟4:將自監督訓練好的編碼器加上回歸分類頭,組成教師網絡模型ft; 教師網絡模型ft的線性回歸頭由兩個分支組成,第一個分支由一個線性層組成,第二個分支則是由一個帶有激活函數的線性層組成;兩個分支的輸出相加并輸入softmax函數中得到最終輸出ft; 步驟5:使用有標簽數據集L微調教師網絡模型ft; 使用度量方法--地球移動距離EMD微調有標簽數據集L上的模型并且不凍結主干網絡,即微調教師網絡模型ft;給定預測值的和具有N個有序類別的真實分數分布y,EMD損失函數表示為: 式中,CDFyk和是累積分布函數,r是用來懲罰兩個累積分布函數之間的歐幾里得距離的系數; 步驟6:通過自訓練解決過擬合問題; 所述自訓練是指將監督訓練與知識蒸餾相結合的過程;使用微調網絡ft作為教師來生成用于訓練學生網絡模型fs的標簽,即使用微調網絡ft對學生網絡模型fs進行知識蒸餾;學生模型由預訓練后的權重初始化,網絡結構與教師網絡ft相同;在給定的無標簽數據ui,·∈U上,教師網絡和學生網絡模型的輸出定義為和 最小化蒸餾損失如下: 式中,H·表示EMD損失,σ是softmax函數,T表示知識蒸餾中的溫度參數; 學生網絡模型fs不僅從教師模型中學習,而且也通過有標簽數據進行學習,總損失定義為: 式中,λ是監督損失和蒸餾損失的權重,是來自學生模型的有標簽數據xj,yj∈U的預測值。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人西北工業大學,其通訊地址為:710072 陜西省西安市友誼西路127號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。