買(mǎi)專(zhuān)利賣(mài)專(zhuān)利找龍圖騰，真高效！ 查專(zhuān)利查商標(biāo)用IPTOP,全免費(fèi)！專(zhuān)利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉山東大學(xué)申請(qǐng)的專(zhuān)利一種面向異構(gòu)GPU集群的深度神經(jīng)網(wǎng)絡(luò)模型并行推理方法獲國(guó)家發(fā)明授權(quán)專(zhuān)利權(quán)，本發(fā)明授權(quán)專(zhuān)利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN120297426B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專(zhuān)利申請(qǐng)?zhí)?專(zhuān)利號(hào)為：202510786813.6，技術(shù)領(lǐng)域涉及：G06N5/04；該發(fā)明授權(quán)一種面向異構(gòu)GPU集群的深度神經(jīng)網(wǎng)絡(luò)模型并行推理方法是由李峰;謝夢(mèng)瑋;胡鵬飛;吳思設(shè)計(jì)研發(fā)完成，并于2025-06-13向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專(zhuān)利申請(qǐng)。

本一種面向異構(gòu)GPU集群的深度神經(jīng)網(wǎng)絡(luò)模型并行推理方法在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種面向異構(gòu)GPU集群的深度神經(jīng)網(wǎng)絡(luò)模型并行推理方法，涉及分布式機(jī)器學(xué)習(xí)領(lǐng)域，包括獲取當(dāng)前信息，剩余可選擇的DNN模型、每個(gè)GPU服務(wù)器上已部署的DNN模型及未滿足DNN模型數(shù)量約束的GPU服務(wù)器；調(diào)度器選擇DNN模型部署在選定的GPU服務(wù)器上，并計(jì)算此時(shí)執(zhí)行并行推理的吞吐量；直至找到吞吐量最大的DNN模型和GPU服務(wù)器組合，并更新相關(guān)信息；判斷該GPU上已部署的DNN模型是否滿足數(shù)量約束，并更新GPU集群信息，直到所有GPU滿足特定的DNN模型數(shù)量約束；重復(fù)上述步驟直至算法收斂。本發(fā)明充分利用有限的異構(gòu)GPU資源，選擇相容性高的DNN模型進(jìn)行部署執(zhí)行并行推理，以最大化吞吐量。

本發(fā)明授權(quán)一種面向異構(gòu)GPU集群的深度神經(jīng)網(wǎng)絡(luò)模型并行推理方法在權(quán)利要求書(shū)中公布了：1.一種面向異構(gòu)GPU集群的深度神經(jīng)網(wǎng)絡(luò)模型并行推理方法，其特征在于，包括如下步驟： 步驟1，獲取當(dāng)前信息，剩余可選擇的DNN模型、每個(gè)GPU服務(wù)器上已部署的DNN模型以及未滿足DNN模型數(shù)量約束的GPU服務(wù)器； 步驟2，調(diào)度器選擇DNN模型部署在選定的GPU服務(wù)器上，并計(jì)算當(dāng)前選擇的DNN模型部署在選定的GPU上執(zhí)行并行推理的吞吐量； 步驟3，重復(fù)步驟2，直至找到使得吞吐量最大的DNN模型和GPU服務(wù)器組合，將該DNN模型部署到該GPU上，并更新相關(guān)信息； 步驟4，判斷該GPU上已部署的DNN模型是否滿足數(shù)量約束，并更新GPU集群信息，直到所有GPU滿足特定的DNN模型數(shù)量約束； 步驟5，重復(fù)步驟1-4，直至算法收斂； 所述步驟1具體為：表示個(gè)異構(gòu)GPU服務(wù)器，表示個(gè)異質(zhì)DNN模型的集合，表示部署在GPU服務(wù)器上的個(gè)DNN模型的集合；調(diào)度器通過(guò)觀察，獲取剩余可選DNN模型的集合，每個(gè)GPU服務(wù)器上已部署的DNN模型的集合以及未滿足DNN模型數(shù)量約束的GPU服務(wù)器的集合； 所述步驟2具體為：將每個(gè)GPU服務(wù)器視作一個(gè)智能體，有一個(gè)局部的深度循環(huán)Q網(wǎng)絡(luò)，通過(guò)深度循環(huán)Q網(wǎng)絡(luò)，針對(duì)中剩余的每一個(gè)可選DNN模型計(jì)算對(duì)應(yīng)的動(dòng)作價(jià)值函數(shù)；DNN模型選擇決策采用-貪婪策略； 所述-貪婪策略具體為：調(diào)度器以概率利用對(duì)應(yīng)的選擇動(dòng)作，即將DNN模型部署在GPU服務(wù)器上執(zhí)行并行推理最優(yōu)；以概率1-，調(diào)度器則從中選擇一個(gè)可選DNN模型部署到從選擇一個(gè)GPU服務(wù)器上。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專(zhuān)利技術(shù)，可聯(lián)系本專(zhuān)利的申請(qǐng)人或?qū)＠麢?quán)人山東大學(xué)，其通訊地址為：266200 山東省青島市即墨區(qū)濱海路72號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。