北京百度網訊科技有限公司沈亮獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉北京百度網訊科技有限公司申請的專利模型訓練設備的性能優化方法、裝置及設備獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN117436509B 。
龍圖騰網通過國家知識產權局官網在2025-08-08發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202311236843.7,技術領域涉及:G06N3/098;該發明授權模型訓練設備的性能優化方法、裝置及設備是由沈亮;于佃海;鞏偉寶;曾錦樂;王海峰設計研發完成,并于2023-09-22向國家知識產權局提交的專利申請。
本模型訓練設備的性能優化方法、裝置及設備在說明書摘要公布了:本公開提供了一種模型訓練設備的性能優化方法、裝置及設備,涉及本公開涉及人工智能技術領域,尤其涉及深度學習、大模型訓練、分布式并行策略等技術領域。具體實現方案為:確定當前模型訓練設備針對目標排序位置的目標模型塊的通信時機,以便于和多個模型訓練設備中的其它模型訓練設備能夠針對目標排序位置的模型塊進行同步調聚合通信;在通信時機,對目標模型塊的反向梯度執行聚合通信。本公開實施例中通過使多個模型訓練設備的通信時機基本保持一致,從而盡可能消除部分氣泡,以提高設備的性能,進而可以最大程度地利用模型訓練設備的并行計算能力。
本發明授權模型訓練設備的性能優化方法、裝置及設備在權利要求書中公布了:1.一種模型訓練設備的性能優化方法,包括: 確定當前模型訓練設備針對目標排序位置的目標模型塊的通信時機,以便于和多個模型訓練設備中的其它模型訓練設備能夠針對所述目標排序位置的模型塊進行同步調聚合通信;其中,所述當前模型訓練設備為所述多個模型訓練設備中的任意訓練設備;所述多個模型訓練設備用于訓練同一目標模型;所述目標模型切分為多個模型階段,每個模型階段包括依序排布的多個模型塊;采用分布式并行策略訓練所述目標模型的過程中因通信操作增加模型訓練設備的計算時長而產生氣泡;其中,同步調聚合通信表示所述當前模型訓練設備和所述其它模型訓練設備的所述目標排序位置的目標模型塊在同一通信時機進行聚合通信; 在所述通信時機,對所述目標模型塊的反向梯度執行聚合通信; 所述確定當前模型訓練設備針對目標排序位置的目標模型塊的通信時機,包括: 在滿足目標約束條件的情況下,確定下一計算階段為所述目標模型塊的通信時機; 所述目標約束條件包括: 所述當前模型訓練設備針對所述目標模型塊的反向梯度計算次數大于或等于目標次數; 在所述通信時機,所述多個模型階段中的第一個模型階段中所述目標排序位置的模型塊的反向梯度計算完畢。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人北京百度網訊科技有限公司,其通訊地址為:100085 北京市海淀區上地十街10號百度大廈2層;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。