買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉華東師范大學(xué)申請(qǐng)的專利基于多智能體強(qiáng)化學(xué)習(xí)的數(shù)據(jù)中心網(wǎng)絡(luò)ECN自動(dòng)調(diào)控方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN115529278B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-12發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202211099120.2，技術(shù)領(lǐng)域涉及：H04L47/12；該發(fā)明授權(quán)基于多智能體強(qiáng)化學(xué)習(xí)的數(shù)據(jù)中心網(wǎng)絡(luò)ECN自動(dòng)調(diào)控方法是由王廷;程凱設(shè)計(jì)研發(fā)完成，并于2022-09-07向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于多智能體強(qiáng)化學(xué)習(xí)的數(shù)據(jù)中心網(wǎng)絡(luò)ECN自動(dòng)調(diào)控方法在說(shuō)明書摘要公布了：本發(fā)明公開了一種基于多智能體強(qiáng)化學(xué)習(xí)的數(shù)據(jù)中心網(wǎng)絡(luò)ECN自動(dòng)調(diào)控方法，該方法具體包括以下步驟：步驟1、將數(shù)據(jù)中心網(wǎng)絡(luò)ECN閾值調(diào)控建模為多智能體強(qiáng)化學(xué)習(xí)問(wèn)題；步驟2、根據(jù)數(shù)據(jù)中心網(wǎng)絡(luò)的特征利用多智能體強(qiáng)化學(xué)習(xí)中的獨(dú)立近似策略優(yōu)化算法IPPO進(jìn)行訓(xùn)練；步驟3、結(jié)合離線預(yù)訓(xùn)練和在線增量學(xué)習(xí)使得部署在各個(gè)交換機(jī)上的模型能夠快速適應(yīng)動(dòng)態(tài)的數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境。本發(fā)明基于多智能體強(qiáng)化學(xué)習(xí)技術(shù)，數(shù)據(jù)中心網(wǎng)絡(luò)中各交換機(jī)根據(jù)現(xiàn)有的網(wǎng)絡(luò)狀態(tài)信息選擇ECN閾值調(diào)控策略，提高數(shù)據(jù)中心網(wǎng)絡(luò)性能。同時(shí)，本發(fā)明采用了獨(dú)立近似策略優(yōu)化算法IPPO，避免不必要的內(nèi)存開銷和帶寬成本，提高計(jì)算效率與算法性能。

本發(fā)明授權(quán)基于多智能體強(qiáng)化學(xué)習(xí)的數(shù)據(jù)中心網(wǎng)絡(luò)ECN自動(dòng)調(diào)控方法在權(quán)利要求書中公布了：1.一種基于多智能體強(qiáng)化學(xué)習(xí)的數(shù)據(jù)中心網(wǎng)絡(luò)ECN自動(dòng)調(diào)控方法，其特征在于，該方法包括以下具體步驟： 步驟1、將數(shù)據(jù)中心網(wǎng)絡(luò)ECN閾值調(diào)控建模為多智能體強(qiáng)化學(xué)習(xí)問(wèn)題；數(shù)據(jù)中心網(wǎng)絡(luò)中由各個(gè)交換機(jī)來(lái)負(fù)責(zé)ECN閾值調(diào)控以實(shí)現(xiàn)時(shí)延和吞吐量的平衡；將數(shù)據(jù)中心中每個(gè)交換機(jī)與一個(gè)獨(dú)立的智能體關(guān)聯(lián)，結(jié)合馬爾可夫決策過(guò)程搭建深度強(qiáng)化學(xué)習(xí)框架； 步驟2、對(duì)于每個(gè)智能體，依據(jù)深度強(qiáng)化學(xué)習(xí)框架中得到的網(wǎng)絡(luò)狀態(tài)信息，結(jié)合設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)以及動(dòng)作空間，利用多智能體強(qiáng)化學(xué)習(xí)中的獨(dú)立近似策略優(yōu)化算法IPPO算法進(jìn)行訓(xùn)練，從而根據(jù)動(dòng)態(tài)的網(wǎng)絡(luò)狀態(tài)選擇ECN閾值調(diào)控策略； 步驟3、對(duì)于每個(gè)智能體，采用混合訓(xùn)練策略，將離線預(yù)訓(xùn)練和在線增量學(xué)習(xí)相結(jié)合，提高模型的整體質(zhì)量以適應(yīng)動(dòng)態(tài)變化的網(wǎng)絡(luò)狀態(tài)；其中： 步驟2中所述的利用多智能體強(qiáng)化學(xué)習(xí)中的獨(dú)立近似策略優(yōu)化算法IPPO進(jìn)行訓(xùn)練，多智能體IPPO是一種獨(dú)立學(xué)習(xí)算法，其中每個(gè)分布式智能體，即交換機(jī)，根據(jù)其本地狀態(tài)信息獨(dú)立學(xué)習(xí)并估計(jì)其局部?jī)r(jià)值函數(shù)，而不需要全局經(jīng)驗(yàn)回放；具體描述如下：每個(gè)交換機(jī)獨(dú)立執(zhí)行IPPO算法并學(xué)習(xí)，能夠表示為價(jià)值函數(shù)Vωst由可學(xué)習(xí)參數(shù)ω利用廣義優(yōu)勢(shì)估計(jì)參數(shù)化，其中ω表示可學(xué)習(xí)參數(shù)，st表示t時(shí)刻的狀態(tài)信息；每個(gè)交換機(jī)都有一個(gè)優(yōu)勢(shì)估計(jì)函數(shù)定義如下：其中δt＝rt+γVωst+1-Vωst，Vωst是通過(guò)神經(jīng)網(wǎng)絡(luò)估計(jì)的得到的t時(shí)刻的價(jià)值，ω是可學(xué)習(xí)參數(shù)，st表示t時(shí)刻的狀態(tài)信息，γ為折扣因子；交換機(jī)學(xué)習(xí)策略π，策略損失函數(shù)為： 其中表示由θold參數(shù)化的策略，πθ表示由θ參數(shù)化的策略，clip表示clip函數(shù)，∈表示誤差值；價(jià)值估計(jì)需要最小化平方誤差損失，具體如下：其中是從時(shí)間t開始從環(huán)境中獲得的獎(jiǎng)勵(lì)的總和。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人華東師范大學(xué)，其通訊地址為：200241 上海市閔行區(qū)東川路500號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。