買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉廈門淵亭信息科技有限公司;湖南淵亭智能科技有限公司申請(qǐng)的專利一種大規(guī)模模型的分布式訓(xùn)練方法、裝置以及設(shè)備獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN120409554B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202510897525.8，技術(shù)領(lǐng)域涉及：G06N3/0455；該發(fā)明授權(quán)一種大規(guī)模模型的分布式訓(xùn)練方法、裝置以及設(shè)備是由洪萬福;俞婷婷;黃在斌設(shè)計(jì)研發(fā)完成，并于2025-07-01向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種大規(guī)模模型的分布式訓(xùn)練方法、裝置以及設(shè)備在說明書摘要公布了：本發(fā)明公開了一種大規(guī)模模型的分布式訓(xùn)練方法、裝置以及設(shè)備，包括：根據(jù)待訓(xùn)練大模型的規(guī)模以及訓(xùn)練任務(wù)在當(dāng)前設(shè)備上配置多個(gè)計(jì)算節(jié)點(diǎn)，并對(duì)每一計(jì)算節(jié)點(diǎn)的硬件資源和軟件資源進(jìn)行配置，得到搭建后的分布式訓(xùn)練環(huán)境；采用不同維度的并行策略對(duì)訓(xùn)練數(shù)據(jù)集以及所述待訓(xùn)練大模型進(jìn)行劃分，得到對(duì)應(yīng)的多個(gè)數(shù)據(jù)塊以及多組模型層；通過加載模型參數(shù)、多個(gè)數(shù)據(jù)塊以及多組模型層至所述分布式訓(xùn)練環(huán)境中對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)上，啟動(dòng)訓(xùn)練流程；在訓(xùn)練過程中，對(duì)每一計(jì)算節(jié)點(diǎn)的運(yùn)行狀態(tài)進(jìn)行監(jiān)測(cè)，通過引入自適應(yīng)調(diào)度機(jī)制動(dòng)態(tài)調(diào)整對(duì)應(yīng)計(jì)算節(jié)點(diǎn)的訓(xùn)練任務(wù)，并在滿足預(yù)設(shè)的訓(xùn)練終止條件時(shí)，保存訓(xùn)練完成的目標(biāo)大模型。能夠滿足高效、穩(wěn)定、低成本的訓(xùn)練需求。

本發(fā)明授權(quán)一種大規(guī)模模型的分布式訓(xùn)練方法、裝置以及設(shè)備在權(quán)利要求書中公布了：1.一種大規(guī)模模型的分布式訓(xùn)練方法，其特征在于，所述方法包括： 根據(jù)待訓(xùn)練大模型的規(guī)模以及訓(xùn)練任務(wù)在當(dāng)前設(shè)備上配置多個(gè)計(jì)算節(jié)點(diǎn)，并對(duì)每一計(jì)算節(jié)點(diǎn)的硬件資源和軟件資源進(jìn)行配置，得到搭建后的分布式訓(xùn)練環(huán)境； 采用不同維度的并行策略對(duì)訓(xùn)練數(shù)據(jù)集以及所述待訓(xùn)練大模型進(jìn)行劃分，得到對(duì)應(yīng)的多個(gè)數(shù)據(jù)塊以及多組模型層，其中，所述并行策略包括數(shù)據(jù)并行、模型并行、流水線并行以及上下文并行； 其中，所述采用不同維度的并行策略對(duì)訓(xùn)練數(shù)據(jù)集以及所述待訓(xùn)練大模型進(jìn)行劃分，包括： 采用數(shù)據(jù)并行的并行策略將所述訓(xùn)練數(shù)據(jù)集按照計(jì)算節(jié)點(diǎn)的數(shù)量劃分為多個(gè)數(shù)據(jù)塊，并根據(jù)每一計(jì)算節(jié)點(diǎn)的計(jì)算能力和存儲(chǔ)容量動(dòng)態(tài)調(diào)整數(shù)據(jù)塊大小； 通過模型并行的并行策略對(duì)所述待訓(xùn)練大模型進(jìn)行分層分割，得到多組模型層，并將每一組模型層分配至對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)； 采用流水線并行的并行策略將所述待訓(xùn)練大模型劃分為多個(gè)連續(xù)階段，并分配至對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)上順序執(zhí)行； 采用上下文并行的并行策略，根據(jù)輸入序列的上下文特征對(duì)輸入序列進(jìn)行分段，將各片段分配至匹配的計(jì)算節(jié)點(diǎn)并動(dòng)態(tài)調(diào)整注意力機(jī)制； 其中，所述采用上下文并行的并行策略，根據(jù)輸入序列的上下文特征對(duì)輸入序列進(jìn)行分段，將各片段分配至匹配的計(jì)算節(jié)點(diǎn)并動(dòng)態(tài)調(diào)整注意力機(jī)制，包括： 根據(jù)輸入序列的長度和注意力權(quán)重分布對(duì)輸入序列進(jìn)行提取，得到上下文特征； 基于上下文特征，根據(jù)預(yù)設(shè)窗口大小對(duì)輸入序列進(jìn)行分段，并根據(jù)每一片段的上下文復(fù)雜度以及當(dāng)前對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)的負(fù)載狀態(tài)，將不同的上下文復(fù)雜度對(duì)應(yīng)的片段分配至匹配的計(jì)算節(jié)點(diǎn)； 根據(jù)不同片段對(duì)應(yīng)的上下文復(fù)雜度對(duì)注意力機(jī)制進(jìn)行動(dòng)態(tài)調(diào)整，在每一計(jì)算節(jié)點(diǎn)完成當(dāng)前片段的處理后，將上下文復(fù)雜度的信息反饋至調(diào)度器，通過調(diào)度器根據(jù)上下文復(fù)雜度的信息優(yōu)化下一微批次的任務(wù)劃分與資源調(diào)度； 通過加載模型參數(shù)、多個(gè)數(shù)據(jù)塊以及多組模型層至所述分布式訓(xùn)練環(huán)境中對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)上，啟動(dòng)訓(xùn)練流程； 在訓(xùn)練過程中，對(duì)每一計(jì)算節(jié)點(diǎn)的運(yùn)行狀態(tài)進(jìn)行監(jiān)測(cè)，通過引入自適應(yīng)調(diào)度機(jī)制動(dòng)態(tài)調(diào)整對(duì)應(yīng)計(jì)算節(jié)點(diǎn)的訓(xùn)練任務(wù)，并在滿足預(yù)設(shè)的訓(xùn)練終止條件時(shí)，保存訓(xùn)練完成的目標(biāo)大模型。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人廈門淵亭信息科技有限公司;湖南淵亭智能科技有限公司，其通訊地址為：361000 福建省廈門市軟件園二期望海路61號(hào)801單元N8-01；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。