買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉齊魯工業(yè)大學(xué)(山東省科學(xué)院);山東省計算中心(國家超級計算濟南中心)申請的專利一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120429090B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-02發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510912273.1，技術(shù)領(lǐng)域涉及：G06F9/48；該發(fā)明授權(quán)一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法是由趙志剛;李錦濤;李傳濤;王春曉;張廣東;周智偉;王雨欣;徐艷;劉福來;李安幫設(shè)計研發(fā)完成，并于2025-07-03向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法在說明書摘要公布了：本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其是提供了一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法。該方法包括構(gòu)建異構(gòu)設(shè)備聯(lián)合訓(xùn)練架構(gòu)；根據(jù)構(gòu)建的異構(gòu)設(shè)備聯(lián)合訓(xùn)練架構(gòu)，優(yōu)化流水線上微批次的調(diào)度策略；基于優(yōu)化后的調(diào)度策略，設(shè)計異構(gòu)設(shè)備間的通信模式，該方法充分利用了異構(gòu)硬件特性，提高了訓(xùn)練效率以及優(yōu)化了通信策略。

本發(fā)明授權(quán)一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法在權(quán)利要求書中公布了：1.一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法，其特征在于，所述方法包括： 步驟1、構(gòu)建異構(gòu)設(shè)備聯(lián)合訓(xùn)練架構(gòu)； 步驟2、根據(jù)構(gòu)建的異構(gòu)設(shè)備聯(lián)合訓(xùn)練架構(gòu)，優(yōu)化流水線上微批次的調(diào)度策略； 步驟3、基于優(yōu)化后的調(diào)度策略，設(shè)計異構(gòu)設(shè)備間的通信模式； 所述步驟1包括： 物理視圖層面：采用數(shù)據(jù)并行和流水線并行的混合并行策略；基于數(shù)據(jù)并行，將微批次mini-batch數(shù)據(jù)集根據(jù)異構(gòu)設(shè)備的性能差異分割為多個數(shù)據(jù)子集，并分配給不同的設(shè)備進行并行計算，每個設(shè)備根據(jù)計算性能處理分配到的數(shù)據(jù)子集；基于流水線并行，通過將模型劃分為多個階段Stage，每個階段的計算任務(wù)相同，根據(jù)設(shè)備的性能差異由不同數(shù)量的設(shè)備組合共同執(zhí)行一個階段；在前向傳播過程中，數(shù)據(jù)依次流經(jīng)設(shè)備，每個階段內(nèi)設(shè)備根據(jù)自身性能處理相應(yīng)的計算任務(wù)；在不同的階段之間，不同類型的設(shè)備之間的數(shù)據(jù)傳輸構(gòu)成了異構(gòu)設(shè)備通信組；在反向傳播時，梯度信息則按相反方向在異構(gòu)設(shè)備或同構(gòu)設(shè)備間傳遞； 邏輯視圖層面：針對異構(gòu)設(shè)備間性能的差異，采用基于異構(gòu)的流水線并行GPipe負載均衡的策略；在異構(gòu)流水線并行的設(shè)計中，對于顯存小的設(shè)備或計算能力弱的設(shè)備，將其多臺設(shè)備組合成為計算組，共同完成一個階段的計算任務(wù)，在每個階段內(nèi)多臺設(shè)備是同構(gòu)的，跨階段則會存在異構(gòu)組合；其中，根據(jù)多臺設(shè)備之間的計算性能差異，跨階段的異構(gòu)組合將輸入數(shù)據(jù)劃分成多個數(shù)據(jù)子集，并分配給不同設(shè)備進行并行計算； 所述步驟2包括： 采用異構(gòu)設(shè)備的前向反向并行策略Het-1F1B，首先，通過優(yōu)化前的調(diào)度微批次反向傳播，釋放微批次前向傳播產(chǎn)生的激活的內(nèi)存，其在相應(yīng)的反向傳播之后被釋放，從而被下一個注入的微批次重用，擴大訓(xùn)練規(guī)模；其次，隨著模型參數(shù)規(guī)模的逐步變大，A100和T4的顯存從原始的3:1，逐步將達到5:1，Het-1F1B將A100作為首節(jié)點，以緩解T4設(shè)備的壓力； 針對Het-1F1B使用同一個通信流接收又發(fā)送所導(dǎo)致的死鎖問題，根據(jù)前向及反向傳播創(chuàng)建專用的通信器Communicator，實現(xiàn)近似異步的效果；采用同步的方法更新模型的權(quán)重，通過周期性刷新流水線，以確保在訓(xùn)練迭代中的所有階段和所有微批次中使用相同版本的權(quán)重。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人齊魯工業(yè)大學(xué)(山東省科學(xué)院);山東省計算中心(國家超級計算濟南中心)，其通訊地址為：250353 山東省濟南市長清區(qū)西部新城大學(xué)科技園；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。