買(mǎi)專(zhuān)利賣(mài)專(zhuān)利找龍圖騰，真高效！ 查專(zhuān)利查商標(biāo)用IPTOP,全免費(fèi)！專(zhuān)利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉鵬城實(shí)驗(yàn)室申請(qǐng)的專(zhuān)利一種支持異構(gòu)集群下的模型并行訓(xùn)練方法及相關(guān)設(shè)備獲國(guó)家發(fā)明授權(quán)專(zhuān)利權(quán)，本發(fā)明授權(quán)專(zhuān)利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN115471394B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-08發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專(zhuān)利申請(qǐng)?zhí)?專(zhuān)利號(hào)為：202211156400.2，技術(shù)領(lǐng)域涉及：G06T1/20；該發(fā)明授權(quán)一種支持異構(gòu)集群下的模型并行訓(xùn)練方法及相關(guān)設(shè)備是由顏達(dá)森;張艷;王進(jìn);秦爽;王暉;曾煒;余躍設(shè)計(jì)研發(fā)完成，并于2022-09-22向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專(zhuān)利申請(qǐng)。

本一種支持異構(gòu)集群下的模型并行訓(xùn)練方法及相關(guān)設(shè)備在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種支持異構(gòu)集群下的模型并行訓(xùn)練方法及相關(guān)設(shè)備，所述方法包括：各個(gè)集群根據(jù)自己的框架編寫(xiě)好代碼，然后在各自的框架上訓(xùn)練一部分?jǐn)?shù)據(jù)，接著先在集群內(nèi)部進(jìn)行模型拼接，把模型并行切分到多張卡的模型參數(shù)合并成一個(gè)完整的模型，不同集群的拼接后得到的模型是一致的，然后將拼接完的模型參數(shù)進(jìn)行分片傳輸?shù)絽?shù)服務(wù)器，參數(shù)服務(wù)器對(duì)模型參數(shù)進(jìn)行融合，接著參數(shù)服務(wù)器將融合后的模型下發(fā)到各個(gè)集群，最后各個(gè)分集群將收到的模型按照各自的模型并行訓(xùn)練策略進(jìn)行模型并行切分后訓(xùn)練；本發(fā)明實(shí)現(xiàn)了用戶(hù)隱私保護(hù)、數(shù)據(jù)安全、大模型并行訓(xùn)練和大模型傳輸，能整合不同計(jì)算中心資源，滿(mǎn)足了異構(gòu)框架，異構(gòu)集群共同訓(xùn)練大模型的需求。

本發(fā)明授權(quán)一種支持異構(gòu)集群下的模型并行訓(xùn)練方法及相關(guān)設(shè)備在權(quán)利要求書(shū)中公布了：1.一種支持異構(gòu)集群下的模型并行訓(xùn)練方法，其特征在于，所述支持異構(gòu)集群下的模型并行訓(xùn)練方法包括： 基于參數(shù)服務(wù)器初始化numpy模型，將初始化后的numpy模型分別發(fā)送到GPU集群和NPU集群，GPU集群和NPU集群根據(jù)各自所使用的訓(xùn)練框架將初始化后的numpy模型加載到真實(shí)訓(xùn)練的模型中，再對(duì)真實(shí)訓(xùn)練的模型進(jìn)行模型并行切分后訓(xùn)練； GPU集群和NPU集群分別在各自本地訓(xùn)練自定義預(yù)設(shè)大小的部分?jǐn)?shù)據(jù)； GPU集群和NPU集群根據(jù)各自所使用的訓(xùn)練框架和采用的模型并行策略進(jìn)行模型拼接，將切分到不同設(shè)備的模型合并成一個(gè)完整的模型，將完整的模型轉(zhuǎn)換為統(tǒng)一的numpy格式，使得GPU集群和NPU集群得到的numpy模型一致； 將numpy模型按照統(tǒng)一的切分方式進(jìn)行切片后，傳輸?shù)絽?shù)服務(wù)器，參數(shù)服務(wù)進(jìn)行拼接處理； 參數(shù)服務(wù)器接收到來(lái)自GPU集群和NPU集群的統(tǒng)一格式的numpy模型后，通過(guò)參數(shù)平均的方式對(duì)numpy模型進(jìn)行融合，得到融合后的numpy模型； 參數(shù)服務(wù)器將融合后的模型分片分發(fā)到各個(gè)訓(xùn)練集群，各個(gè)訓(xùn)練集群根據(jù)所使用的訓(xùn)練框架和模型并行策略對(duì)完整的numpy模型進(jìn)行切分，切分后的模型分配到不同的設(shè)備上，并進(jìn)行訓(xùn)練。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專(zhuān)利技術(shù)，可聯(lián)系本專(zhuān)利的申請(qǐng)人或?qū)＠麢?quán)人鵬城實(shí)驗(yàn)室，其通訊地址為：518000 廣東省深圳市南山區(qū)興科一街2號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話(huà)0551-65771310或微信搜索“龍圖騰網(wǎng)”。