騰訊科技(深圳)有限公司;清華大學深圳國際研究生院謝作通獲國家專利權
買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！
龍圖騰網獲悉騰訊科技(深圳)有限公司;清華大學深圳國際研究生院申請的專利語言模型的預訓練方法、結果推薦方法及相關裝置獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114565104B 。
龍圖騰網通過國家知識產權局官網在2025-08-15發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210193343.9，技術領域涉及：G06N20/00；該發明授權語言模型的預訓練方法、結果推薦方法及相關裝置是由謝作通;陳軍華;鄒嘉欣;侯嘉偉;顏強設計研發完成，并于2022-03-01向國家知識產權局提交的專利申請。
本語言模型的預訓練方法、結果推薦方法及相關裝置在說明書摘要公布了：本申請公開了一種語言模型的預訓練方法、結果推薦方法及相關裝置，該方法能夠以MLM任務和義原預測任務為第一階段的訓練任務對語言模型進行預訓練，使得語言模型學習到訓練文本中詞語的義原。在完成第一階段的預訓練后，該方法能夠以對比學習為第二階段的訓練任務，采用基于目標領域的知識圖譜確定的第二訓練文本對語言模型進行預訓練，從而將目標領域的知識圖譜融入該語言模型的預訓練過程，使語言模型能夠學習到目標領域的知識圖譜中的知識。由于本申請提供的方法能夠在語言模型的預訓練過程中引入不同的訓練任務，因此可以確保語言模型的預訓練效果較好。
本發明授權語言模型的預訓練方法、結果推薦方法及相關裝置在權利要求書中公布了：1.一種語言模型的預訓練方法，其特征在于，所述方法包括： 對第一訓練文本進行掩碼處理，掩碼處理后的所述第一訓練文本中的部分詞語被替換為掩碼，所述詞語包括一個或多個文字； 獲取掩碼處理后的所述第一訓練文本中的文字對應的嵌入向量，所述嵌入向量包括：字向量、義原向量、段向量和位置向量，其中，所述義原向量是文字的義原的向量表示，且基于包含所述文字的各個參考詞語的義原的并集確定； 以掩碼語言模型任務和義原預測任務為第一階段的訓練任務，基于所述嵌入向量預訓練語言模型，其中，所述義原預測任務用于預測所述第一訓練文本中被替換為掩碼的詞語的義原，所述詞語的義原為所述詞語包括的各個文字的義原的交集； 以對比學習為第二階段的訓練任務，采用第二訓練文本預訓練所述語言模型，所述第二訓練文本包括：原始文本，基于目標領域的知識圖譜替換所述原始文本中的第一詞語得到的正樣本文本，以及基于所述目標領域的知識圖譜替換所述原始文本中的第二詞語得到的負樣本文本。
如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人騰訊科技(深圳)有限公司;清華大學深圳國際研究生院，其通訊地址為：518057 廣東省深圳市南山區高新區科技中一路騰訊大廈35層；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
免責聲明
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
開放平臺
擔保交易
惠及多方
會員特惠
專屬平臺
適合多方
數據共享
功能齊全
皖公網安備 34010402703815號