買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉之江實驗室申請的專利一種模型訓練的控制方法、裝置及介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120087420B 。

龍圖騰網通過國家知識產權局官網在2025-08-15發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510571849.2，技術領域涉及：G06N3/0455；該發明授權一種模型訓練的控制方法、裝置及介質是由李婷;孫嘯峰;陳紅陽;鄧瀟設計研發完成，并于2025-05-06向國家知識產權局提交的專利申請。

本一種模型訓練的控制方法、裝置及介質在說明書摘要公布了：本申請公開了一種模型訓練的控制方法、裝置及介質，該方法包括：構建待訓練模型；并獲取用于訓練待訓練模型的訓練數據集；對待訓練模型進行參數分塊，得到多個參數塊；為各參數塊和未分塊的目標參數分別分配一個初始海森近似信息，以替換原始海森信息；確定當前迭代的目標海森近似信息；基于當前迭代的目標海森近似信息，通過訓練數據集對待訓練模型進行迭代訓練，直至達到迭代訓練條件得到目標模型為止。由此，相比計算完整的海森矩陣，本申請通過對模型參數進行分塊，并為每個參數塊和未分塊的目標參數分配一個海森近似信息，每個參數塊可以單獨進行處理，減少計算量的同時，降低存儲需求。

本發明授權一種模型訓練的控制方法、裝置及介質在權利要求書中公布了：1.一種模型訓練的控制方法，其特征在于，所述方法包括： 構建待訓練模型；并獲取用于訓練所述待訓練模型的訓練數據集；其中，所述訓練數據集為文本數據集； 對所述待訓練模型進行參數分塊，得到多個參數塊； 為各所述參數塊和未分塊的目標參數分別分配一個初始海森近似信息，以替換原始海森信息； 確定當前迭代的目標海森近似信息； 基于所述當前迭代的目標海森近似信息，通過所述訓練數據集對所述待訓練模型進行迭代訓練，直至達到迭代訓練條件得到目標模型為止； 所述待訓練模型為基于Transformer架構的模型；對所述待訓練模型進行參數分塊，包括： 對于所述待訓練模型中的矩陣參數，以行為單位進行參數分塊；其中，所述矩陣參數包括所述Transformer架構的嵌入層、所述Transformer架構中多頭注意力層的值矩陣、所述多頭注意力層的輸出層、所述待訓練模型的輸出層、所述Transformer架構的全連接層； 對于所述多頭自注意力層的查詢矩陣和鍵矩陣，以注意力頭為單位進行參數分塊； 對于所述Transformer架構的層歸一化層，以整層為單位進行參數分塊； 所述目標海森近似信息包括目標海森近似標量和目標海森近似矩陣；所述確定當前迭代的目標海森近似信息，包括：根據上一輪迭代的目標海森近似信息，確定當前迭代的目標海森近似信息； 所述根據上一輪迭代的目標海森近似信息，確定當前迭代的目標海森近似信息，包括： 根據上一輪迭代的目標海森近似標量和當前迭代的梯度海森近似值的均值，確定當前迭代的目標海森近似標量； 根據上一輪迭代的目標海森近似矩陣，確定所述當前迭代的目標海森近似矩陣。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人之江實驗室，其通訊地址為：311121 浙江省杭州市余杭區中泰街道科創大道之江實驗室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。