買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉武漢大學(xué)申請的專利基于變換器的雙向編碼器表示的序列推薦方法及設(shè)備獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN115757865B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-12發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202211359879.X，技術(shù)領(lǐng)域涉及：G06F16/735；該發(fā)明授權(quán)基于變換器的雙向編碼器表示的序列推薦方法及設(shè)備是由胡瑞敏;黃娜娜;王曉晨;彭瀟然;李杰;潘昊;喬陽陽設(shè)計研發(fā)完成，并于2022-11-02向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于變換器的雙向編碼器表示的序列推薦方法及設(shè)備在說明書摘要公布了：本發(fā)明提供了一種基于變換器的雙向編碼器表示的序列推薦方法及設(shè)備。所述方法包括：步驟1：采用基于自注意力機制的雙向編碼器來捕獲用戶歷史行為序列中項目的雙向依賴關(guān)系和項目的共現(xiàn)特性；步驟2：采用步驟1中得到的項目的雙向依賴關(guān)系和共現(xiàn)特性關(guān)系，在預(yù)訓(xùn)練階段，針對數(shù)據(jù)稀疏導(dǎo)致的正負樣本比例懸殊，采用雙向編碼器的掩碼語言模型以自監(jiān)督的方式訓(xùn)練模型；步驟3：將步驟2中的模型訓(xùn)練參數(shù)，在微調(diào)階段采用用戶歷史行為序列數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，確保目標物品標簽均衡。本發(fā)明能夠很好的緩解系統(tǒng)冷啟動問題，有效提高目標平臺的推薦性能。

本發(fā)明授權(quán)基于變換器的雙向編碼器表示的序列推薦方法及設(shè)備在權(quán)利要求書中公布了：1.一種基于變換器的雙向編碼器表示的序列推薦方法，其特征在于，包括：步驟1：采用基于自注意力機制的雙向編碼器來捕獲用戶歷史行為序列中項目的雙向依賴關(guān)系和項目的共現(xiàn)特性；步驟2：采用步驟1中得到的項目的雙向依賴關(guān)系和共現(xiàn)特性關(guān)系，在預(yù)訓(xùn)練階段，針對數(shù)據(jù)稀疏導(dǎo)致的正負樣本比例懸殊，采用雙向編碼器的掩碼語言模型以自監(jiān)督的方式訓(xùn)練模型；步驟3：將步驟2中的模型訓(xùn)練參數(shù)，在微調(diào)階段采用用戶歷史行為序列數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，確保目標物品標簽均衡； 步驟1具體包括：步驟1.1：在輸入層，準備好視頻的初始表征，將其送入到序列編碼器，模型的序列編碼器是由多個自注意力層堆疊而成，得到用戶行為序列中視頻的初始嵌入向量表征；在步驟1.1中，采用元素相加形成視頻的初始嵌入表征向量，計算包括： 其中，表示位置嵌入向量，表示視頻的特征向量，得到用戶行為序列s的初始表征向量，，其中,，設(shè)定一個長度為L的用戶行為序列，通過將用戶行為序列中第i個視頻轉(zhuǎn)換到一個相對低維度的空間，轉(zhuǎn)換為一個d維向量； 步驟1.2：基于步驟1.1得到的用戶行為序列中視頻的初始嵌入向量表征，在序列編碼層，用序列編碼器來初始化對應(yīng)部分的參數(shù)，無需重頭開始訓(xùn)練，得到模型對應(yīng)的部分參數(shù)；步驟1.2包括子步驟：步驟1.2.1：多頭注意力機制并行地應(yīng)用縮放點積乘注意力機制多次，獨立的注意力機制輸出被串聯(lián)起來，并被線性轉(zhuǎn)化為預(yù)期的維度，得到線性映射下不同空間向量表征；步驟1.2.2：基于步驟1.2.1得到線性映射下不同空間向量表征，為確保模型具有非線性表達能力，以及不同維度的特征進行交互，對序列表征中的每一條視頻的表征應(yīng)用的位置前饋層是相同的，得到位置前饋網(wǎng)絡(luò)的表征；步驟1.2.3：基于步驟1.2.2得到位置前饋網(wǎng)絡(luò)的表征，通過多層變換器堆疊來考慮捕捉更加復(fù)雜的雙向依賴關(guān)系，得到隱層視頻嵌入向量表征。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人武漢大學(xué)，其通訊地址為：430072 湖北省武漢市武昌區(qū)珞珈山武漢大學(xué)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。