買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉南京信息工程大學(xué);中科南京信息高鐵研究院申請的專利一種多模態(tài)大模型的流水線并行訓(xùn)練方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120179416B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-12發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510639216.0，技術(shù)領(lǐng)域涉及：G06F9/50；該發(fā)明授權(quán)一種多模態(tài)大模型的流水線并行訓(xùn)練方法是由李傳坤;劉文杰;劉曉東;郭志鵬;方銘;張昕怡設(shè)計研發(fā)完成，并于2025-05-19向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種多模態(tài)大模型的流水線并行訓(xùn)練方法在說明書摘要公布了：本發(fā)明公開了一種多模態(tài)大模型的流水線并行訓(xùn)練方法，屬于模型訓(xùn)練技術(shù)領(lǐng)域。該方法通過計算多模態(tài)大模型中每一層的執(zhí)行時間和顯存占用數(shù)據(jù)，根據(jù)各層的執(zhí)行時間和顯存占用數(shù)據(jù)，計算多模態(tài)大模型每一層分配的權(quán)重，得到初始階段劃分結(jié)果；利用改進的禁忌搜索方法對初始階段劃分結(jié)果進行優(yōu)化，得到優(yōu)化后的解，將該解作為多模態(tài)大模型最終劃分結(jié)果，利用該最終劃分結(jié)果對多模態(tài)大模型進行流水線并行訓(xùn)練。本發(fā)明更加高效地利用顯存資源并平衡計算負載，顯著減少多模態(tài)大模型訓(xùn)練時間，且適用性更強，可以在顯存受限等復(fù)雜的情況中保持較高的訓(xùn)練吞吐量。

本發(fā)明授權(quán)一種多模態(tài)大模型的流水線并行訓(xùn)練方法在權(quán)利要求書中公布了：1.一種多模態(tài)大模型的流水線并行訓(xùn)練方法，其特征在于，包括如下步驟： 計算多模態(tài)大模型中每一層的執(zhí)行時間和顯存占用數(shù)據(jù)； 根據(jù)各層的執(zhí)行時間和顯存占用數(shù)據(jù)，計算多模態(tài)大模型每一層分配的權(quán)重，基于權(quán)重計算累計值，并按照設(shè)備數(shù)量平均分配，得到初始階段劃分結(jié)果； 利用改進的禁忌搜索方法對初始階段劃分結(jié)果進行優(yōu)化，得到優(yōu)化后的解，將該解作為多模態(tài)大模型最終劃分結(jié)果，利用該最終劃分結(jié)果對多模態(tài)大模型進行流水線并行訓(xùn)練； 得到初始階段劃分結(jié)果的過程包括： 計算多模態(tài)大模型每一層分配的權(quán)重，公式為： ， 式中，為第k層的權(quán)重，和分別表示執(zhí)行時間和顯存占用數(shù)據(jù)的調(diào)節(jié)系數(shù)，且；表示第k層的固定顯存占用，表示第k層的總執(zhí)行時間； 按照層的順序依次累加各層權(quán)重，當(dāng)累加權(quán)重首次超過總權(quán)重的時，，將第一層至當(dāng)前層分為第一階段，依次類推，分成p個階段，記為，每個階段分配一個GPU設(shè)備； 利用改進的禁忌搜索方法對初始階段劃分結(jié)果進行優(yōu)化的步驟包括： 步驟301，將初始階段劃分結(jié)果作為當(dāng)前解，清空禁忌表，設(shè)置最大調(diào)整步長； 步驟302，生成鄰域解：對于當(dāng)前解，以步長調(diào)整相鄰階段Si和Si+1的分割點b，生成鄰域解集合； 步驟303，對鄰域解集合中的每個領(lǐng)域解，計算對應(yīng)劃分方案中每個GPU設(shè)備的顯存占用情況；若未超過GPU設(shè)備的上限，則跳轉(zhuǎn)至步驟304；否則，采用貪心的方法對該鄰域解進行重計算優(yōu)化； 步驟304，評估解質(zhì)量，根據(jù)成本篩選最優(yōu)解； 步驟305，篩選解：計算當(dāng)前鄰域解的成本，如果當(dāng)前鄰域解的成本低于最優(yōu)解的成本，則將當(dāng)前鄰域解作為新的最優(yōu)解，將當(dāng)前鄰域解放入禁忌表；如果沒有鄰域解的成本低于當(dāng)前最優(yōu)解的成本，則按照概率選擇次優(yōu)解，然后將次優(yōu)解放入禁忌表中；其中P為隨機生成的介于0到1之間的值，T為當(dāng)前溫度參數(shù)； 步驟306，更新禁忌表：若連續(xù)若干次迭代未發(fā)現(xiàn)更優(yōu)解，則觸發(fā)多樣化操作，將溫度T提升至，清空一半的禁忌表，隨機生成初始解；否則按指數(shù)冷卻策略降低溫度至；其中，為預(yù)設(shè)的溫度上限，為升溫系數(shù)，為降溫系數(shù)； 步驟307，重復(fù)迭代步驟302至步驟306，直至滿足終止條件，得到優(yōu)化后的階段劃分方案。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人南京信息工程大學(xué);中科南京信息高鐵研究院，其通訊地址為：210044 江蘇省南京市江北新區(qū)寧六路219號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。