買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉鵬城實驗室申請的專利一種跨域數據異構的大模型在線剪枝方法及相關設備獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115423088B 。

龍圖騰網通過國家知識產權局官網在2025-08-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210986537.4，技術領域涉及：G06N3/082；該發明授權一種跨域數據異構的大模型在線剪枝方法及相關設備是由易澤軒;張葉紅;張艷;王進;顏達森;陶恒韜;王暉;曾煒;余躍設計研發完成，并于2022-08-17向國家知識產權局提交的專利申請。

本一種跨域數據異構的大模型在線剪枝方法及相關設備在說明書摘要公布了：本發明公開了一種跨域數據異構的大模型在線剪枝方法及相關設備，方法包括：獲取目標預訓練模型和目標數據集；根據目標數據集對目標預訓練模型進行預剪枝，得到預剪枝模型；將預剪枝模型的參數發送至云服務器進行處理，得到目標融合參數，將目標融合參數加載至預剪枝模型，得到目標融合模型，將目標預訓練模型更新為目標融合模型；重新執行根據目標數據集對目標預訓練模型進行預剪枝的步驟，直至完成預設數量的輪數后，將目標融合模型作為目標預剪枝模型；對目標預剪枝模型進行結構剪枝處理，得到目標剪枝模型；根據目標剪枝模型得到目標發布模型。本發明能夠在跨域網絡環境下，對模型進行在線剪枝，減少模型參數，降低大模型部署對硬件的要求。

本發明授權一種跨域數據異構的大模型在線剪枝方法及相關設備在權利要求書中公布了：1.一種跨域數據異構的大模型在線剪枝方法，其特征在于，所述跨域數據異構的大模型在線剪枝方法包括： 獲取目標預訓練模型和目標數據集； 根據所述目標數據集對所述目標預訓練模型進行預剪枝，得到預剪枝模型； 將所述預剪枝模型的參數發送至云服務器進行處理，得到目標融合參數，將所述目標融合參數加載至所述預剪枝模型，得到目標融合模型，將所述目標預訓練模型更新為所述目標融合模型； 重新執行根據所述目標數據集對所述目標預訓練模型進行預剪枝的步驟，直至完成預設數量的輪數后，將所述目標融合模型作為目標預剪枝模型； 對所述目標預剪枝模型進行結構剪枝處理，得到目標剪枝模型； 根據所述目標剪枝模型得到目標發布模型； 所述根據所述目標數據集對所述目標預訓練模型進行預剪枝，包括： 獲取所述目標預訓練模型中的多頭注意力模塊； 根據所述多頭注意力模塊中的每一頭設置對應的門控網絡； 將所述目標數據集中各個訓練數據對應的所述多頭注意力模塊的輸出結果與所述門控網絡進行點積，得到目標注意力輸出； 根據門控稀疏化函數和所述目標注意力輸出獲取預剪枝訓練損失，并根據優化目標更新所述目標預訓練模型； 所述門控稀疏化函數為： ； 其中，所述目標預訓練模型中的所述多頭注意力模塊的層數為l，為第i層多層注意力模塊對應的門控網絡，。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人鵬城實驗室，其通訊地址為：518000 廣東省深圳市南山區興科一街2號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。