買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉山東海量信息技術(shù)研究院申請的專利專家并行訓(xùn)練耗時預(yù)測方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120373423B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-02發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510874226.2，技術(shù)領(lǐng)域涉及：G06N3/098；該發(fā)明授權(quán)專家并行訓(xùn)練耗時預(yù)測方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品是由唐軼男;李仁剛;郭振華;趙雅倩;王麗;高開;曹芳設(shè)計研發(fā)完成，并于2025-06-27向國家知識產(chǎn)權(quán)局提交的專利申請。

本專家并行訓(xùn)練耗時預(yù)測方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品在說明書摘要公布了：本發(fā)明公開了專家并行訓(xùn)練耗時預(yù)測方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，涉及人工智能技術(shù)領(lǐng)域，通過將混合專家模型訓(xùn)練所采用的訓(xùn)練樣本集進(jìn)行多次采樣得到的訓(xùn)練樣本分別輸入混合專家模型以監(jiān)測混合專家模型的專家網(wǎng)絡(luò)的激活狀態(tài)參數(shù)，從而對專家并行訓(xùn)練中專家網(wǎng)絡(luò)的激活情況進(jìn)行準(zhǔn)確預(yù)測；根據(jù)專家網(wǎng)絡(luò)的激活狀態(tài)參數(shù)和異構(gòu)計算系統(tǒng)的計算節(jié)點的資源狀態(tài)信息，計算計算節(jié)點執(zhí)行迭代訓(xùn)練的耗時預(yù)測結(jié)果，并根據(jù)計算節(jié)點的耗時預(yù)測結(jié)果確定異構(gòu)計算系統(tǒng)執(zhí)行迭代訓(xùn)練的耗時預(yù)測結(jié)果，實現(xiàn)對混合專家模型的專家并行訓(xùn)練的耗時進(jìn)行準(zhǔn)確預(yù)測，解決相關(guān)技術(shù)中模型訓(xùn)練耗時預(yù)測方案無法準(zhǔn)確預(yù)測混合專家模型的專家并行訓(xùn)練的耗時的問題。

本發(fā)明授權(quán)專家并行訓(xùn)練耗時預(yù)測方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品在權(quán)利要求書中公布了：1.一種專家并行訓(xùn)練耗時預(yù)測方法，其特征在于，包括： 確定異構(gòu)計算系統(tǒng)的計算節(jié)點所部署的混合專家模型的專家網(wǎng)絡(luò)； 獲取所述混合專家模型的訓(xùn)練樣本集，將自所述訓(xùn)練樣本集中進(jìn)行多次采樣得到的訓(xùn)練樣本分別輸入所述混合專家模型，并監(jiān)測所述專家網(wǎng)絡(luò)的激活狀態(tài)參數(shù)； 根據(jù)所述專家網(wǎng)絡(luò)的激活狀態(tài)參數(shù)和所述計算節(jié)點的資源狀態(tài)信息，計算得到所述計算節(jié)點執(zhí)行迭代訓(xùn)練的耗時預(yù)測結(jié)果； 根據(jù)所述計算節(jié)點的耗時預(yù)測結(jié)果確定所述異構(gòu)計算系統(tǒng)執(zhí)行迭代訓(xùn)練的耗時預(yù)測結(jié)果； 其中，監(jiān)測所述專家網(wǎng)絡(luò)的激活狀態(tài)參數(shù)，包括： 監(jiān)測歷史迭代訓(xùn)練中所述專家網(wǎng)絡(luò)的激活狀態(tài)； 根據(jù)多輪歷史迭代訓(xùn)練所述專家網(wǎng)絡(luò)的激活狀態(tài)確定所述專家網(wǎng)絡(luò)在一次迭代訓(xùn)練中的激活概率，以所述激活概率為所述專家網(wǎng)絡(luò)的激活狀態(tài)參數(shù)； 根據(jù)所述專家網(wǎng)絡(luò)的激活狀態(tài)參數(shù)和所述計算節(jié)點的資源狀態(tài)信息，計算得到所述計算節(jié)點執(zhí)行迭代訓(xùn)練的耗時預(yù)測結(jié)果，包括： 根據(jù)所述專家網(wǎng)絡(luò)的激活概率、所述計算節(jié)點的算力資源參數(shù)和所述計算節(jié)點的內(nèi)存帶寬，計算得到所述計算節(jié)點的前向傳播計算耗時預(yù)測結(jié)果和所述計算節(jié)點的反向傳播計算耗時預(yù)測結(jié)果； 根據(jù)所述專家網(wǎng)絡(luò)的激活概率和所述計算節(jié)點的網(wǎng)絡(luò)資源參數(shù)，計算得到所述計算節(jié)點的前向傳播通信耗時預(yù)測結(jié)果和所述計算節(jié)點的反向傳播通信耗時預(yù)測結(jié)果。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人山東海量信息技術(shù)研究院，其通訊地址為：250000 山東省濟(jì)南市高新技術(shù)開發(fā)區(qū)國家信息通信國際創(chuàng)新園；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。