蘇州元腦智能科技有限公司溫東超獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉蘇州元腦智能科技有限公司申請的專利自然語言處理方法、電子設備、存儲介質和程序產品獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120234409B 。
龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510714845.5,技術領域涉及:G06F16/334;該發明授權自然語言處理方法、電子設備、存儲介質和程序產品是由溫東超;盧麗華設計研發完成,并于2025-05-30向國家知識產權局提交的專利申請。
本自然語言處理方法、電子設備、存儲介質和程序產品在說明書摘要公布了:本申請公開了一種自然語言處理方法、電子設備、存儲介質和程序產品,涉及計算機技術領域,本申請通過知識蒸餾機制,生成包括多個零向量列權重矩陣的學生網絡模型,使得在存儲學生網絡模型時,可以省略權重矩陣中的零向量列,降低了存儲需求,進而節省大量的存儲空間,在通過存儲的學生網絡模型對文本數據進行推理運算時,零向量列不參與運算,降低了計算量,提升了推理運算速度,進而提高了整體運算效率。
本發明授權自然語言處理方法、電子設備、存儲介質和程序產品在權利要求書中公布了:1.一種自然語言處理方法,其特征在于,所述方法包括: 獲取預構建的教師網絡模型; 基于所述教師網絡模型和知識蒸餾機制,生成目標學生網絡模型,所述目標學生網絡模型至少包括一個權重矩陣,所述權重矩陣中至少包括一個零向量列; 響應于接收到自然語言處理請求,獲取文本數據,將所述文本數據劃分為多個詞元; 將所述詞元輸入至所述目標學生網絡模型,基于所述目標學生網絡模型中包括所述零向量列的權重矩陣,對所述詞元進行推理計算,以確定所述文本數據對應的輸出結果; 其中,基于所述教師網絡模型和知識蒸餾機制,生成目標學生網絡模型包括: 基于所述教師網絡模型,構建第一學生網絡模型,其中,利用W′1表示所述第一學生網絡模型中的權重矩陣,W′1=W″1Q,Q表示第一對角矩陣,W″1表示隨機初始化的矩陣;基于所述教師網絡模型和所述第一學生網絡模型,構建訓練損失函數,所述訓練損失函數是以蒸餾損失函數和任務相關損失函數為自變量的函數; 獲取訓練數據; 基于所述訓練損失函數和所述訓練數據,對所述第一學生網絡模型進行訓練,以對所述第一學生網絡模型中的權重矩陣進行更新; 響應于當前訓練周期為預設訓練周期,結束訓練,得到第二學生網絡模型,其中,利用W′2表示所述第二學生網絡模型中的權重矩陣,W′2=W″2Q,W″2表示訓練更新后的隨機初始化矩陣; 按照大小順序,對所述第一對角矩陣中的對角線元素進行排序; 根據預設比例,從排序結果中選取多個元素值,將未被選取的其他元素值置零處理,生成第二對角矩陣Q′; 基于所述第二對角矩陣Q′和W″2的乘積,確定第三學生網絡模型中的權重矩陣為W3=W″2Q′; 對所述第三學生網絡模型的權重矩陣中零向量列進行固定,將其余列中的元素值狀態設置為可學習狀態; 基于所述任務相關損失函數和目標任務節點對應的文本數據,對所述第三學生網絡模型進行訓練,以更新所述其余列中的元素值; 響應于訓練完成,生成所述目標學生網絡模型。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人蘇州元腦智能科技有限公司,其通訊地址為:215000 江蘇省蘇州市吳中經濟開發區綜保區經一路1號8幢;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。