買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉齊魯工業大學(山東省科學院);山東省計算中心(國家超級計算濟南中心)申請的專利一種適用于網絡和設備異構環境的深度學習模型訓練方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120409596B 。

龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510912277.X，技術領域涉及：G06N3/084；該發明授權一種適用于網絡和設備異構環境的深度學習模型訓練方法是由趙志剛;李錦濤;李傳濤;王春曉;張廣東;周智偉;王雨欣;徐艷;劉福來;李安幫設計研發完成，并于2025-07-03向國家知識產權局提交的專利申請。

本一種適用于網絡和設備異構環境的深度學習模型訓練方法在說明書摘要公布了：本發明涉及模型訓練技術領域，尤其是提供了一種適用于網絡和設備異構環境的深度學習模型訓練方法。該方法包括設計改進后的混合并行策略；根據改進后的混合并行策略，構建基于動態規劃的模型劃分與任務放置方案；根據改進后的混合并行策略以及基于動態規劃的模型劃分與任務放置方案，設計自適應加權半同步的混合訓練機制，該方法實現了通信負載的合理分配，提高了硬件利用率和整體的訓練效率。

本發明授權一種適用于網絡和設備異構環境的深度學習模型訓練方法在權利要求書中公布了：1.一種適用于網絡和設備異構環境的深度學習模型訓練方法，其特征在于，所述方法包括： 步驟1、設計改進后的混合并行策略； 步驟2、根據改進后的混合并行策略，構建基于動態規劃的模型劃分與任務放置方案； 步驟3、根據改進后的混合并行策略以及基于動態規劃的模型劃分與任務放置方案，設計自適應加權半同步的混合訓練機制； 所述步驟1包括： 設計改進后的混合并行策略PatchPipe，在同一個階段stage內部，根據異構設備的內存容量和計算能力分配對應的批次；在不同階段stage之間，聯合多個低端的異構設備組成一組，組內采用數據并行，組間采用流水線并行，共同處理一個完整的訓練批次，在內存容量上與高端的設備達到一個平衡；PatchPipe通過提前調度微批次反向傳播，及時釋放當前微批次前向傳播產生的激活的內存，從而為下一個注入的微批次騰出內存； 所述步驟3包括： 在自適應加權半同步SSAW中設計選擇性同步策略，對于每次迭代，梯度的同步引入局部同步和全局同步的雙階段機制；局部同步是針對部分節點的輕量級梯度同步操作；在每次迭代中，動態評估各個節點的運行狀態，選擇當前迭代完成快的節點執行一次All-Reduce操作；SSAW在經過若干輪局部同步之后，會周期性地執行一次全局同步操作，全局同步強制所有節點統一執行一次完整的All-Reduce，使得所有節點在模型參數上重新對齊；同時，對于不參與局部同步的節點，在其中引入梯度累積； 在梯度同步時，給每個節點一個權值，此權重根據其歷史同步次數動態調整，用于衡量其在當前同步中的貢獻程度；對于設備i第j次迭代時的梯度信息記作，當其參與梯度同步時，加權梯度的表達式為： （9） 其中，表示當前數據并行中參與梯度同步的設備集合； 權值的表達式為： （10） 其中，為當前節點在歷史局部同步的次數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人齊魯工業大學(山東省科學院);山東省計算中心(國家超級計算濟南中心)，其通訊地址為：250353 山東省濟南市長清區西部新城大學科技園；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。