買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉北京郵電大學(xué)申請的專利多智能體強(qiáng)化學(xué)習(xí)的多星協(xié)作分布式路由方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN119995693B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-12發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510451360.1，技術(shù)領(lǐng)域涉及：H04L45/44；該發(fā)明授權(quán)多智能體強(qiáng)化學(xué)習(xí)的多星協(xié)作分布式路由方法是由紀(jì)哲;吳勝;陳嘯;張保慶;顧韶竹設(shè)計研發(fā)完成，并于2025-04-11向國家知識產(chǎn)權(quán)局提交的專利申請。

本多智能體強(qiáng)化學(xué)習(xí)的多星協(xié)作分布式路由方法在說明書摘要公布了：本發(fā)明提供了一種多智能體強(qiáng)化學(xué)習(xí)的多星協(xié)作分布式路由方法，本發(fā)明能夠利用時間切片技術(shù)構(gòu)建衛(wèi)星網(wǎng)絡(luò)靜態(tài)拓?fù)淠Ｐ停⒔⒆钚』瘮?shù)據(jù)包端到端時延的目標(biāo)函數(shù)；基于衛(wèi)星網(wǎng)絡(luò)靜態(tài)拓?fù)淠Ｐ蜆?gòu)建衛(wèi)星智能體網(wǎng)絡(luò)，并獲取衛(wèi)星交互經(jīng)驗數(shù)據(jù)；其中，衛(wèi)星智能體網(wǎng)絡(luò)包括多星協(xié)作混合網(wǎng)絡(luò)和每個智能體對應(yīng)的衛(wèi)星決策網(wǎng)絡(luò)；根據(jù)衛(wèi)星交互經(jīng)驗數(shù)據(jù)進(jìn)行衛(wèi)星智能體網(wǎng)絡(luò)的訓(xùn)練，得到訓(xùn)練后的衛(wèi)星智能體網(wǎng)絡(luò)；將訓(xùn)練后的衛(wèi)星智能體網(wǎng)絡(luò)中的衛(wèi)星決策網(wǎng)絡(luò)分別部署到相應(yīng)智能體上，以使智能體基于所部署的衛(wèi)星決策網(wǎng)絡(luò)進(jìn)行路由決策。這樣通過衛(wèi)星決策網(wǎng)絡(luò)與多星協(xié)作混合網(wǎng)絡(luò)的協(xié)同工作，能夠?qū)崿F(xiàn)低軌衛(wèi)星星座的高效分布式路由決策，降低時延并平衡負(fù)載。

本發(fā)明授權(quán)多智能體強(qiáng)化學(xué)習(xí)的多星協(xié)作分布式路由方法在權(quán)利要求書中公布了：1.一種多智能體強(qiáng)化學(xué)習(xí)的多星協(xié)作分布式路由方法，其特征在于，包括： 獲取低軌衛(wèi)星星座的網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)，并利用時間切片技術(shù)構(gòu)建衛(wèi)星網(wǎng)絡(luò)靜態(tài)拓?fù)淠Ｐ停黄渲校龅蛙壭l(wèi)星星座中的每個衛(wèi)星作為一個智能體； 基于所述衛(wèi)星網(wǎng)絡(luò)靜態(tài)拓?fù)淠Ｐ停⒆钚』瘮?shù)據(jù)包端到端時延的目標(biāo)函數(shù)； 基于所述衛(wèi)星網(wǎng)絡(luò)靜態(tài)拓?fù)淠Ｐ蜆?gòu)建衛(wèi)星智能體網(wǎng)絡(luò)，并獲取衛(wèi)星交互經(jīng)驗數(shù)據(jù)；其中，所述衛(wèi)星智能體網(wǎng)絡(luò)包括多星協(xié)作混合網(wǎng)絡(luò)和每個所述智能體對應(yīng)的衛(wèi)星決策網(wǎng)絡(luò)，所述多星協(xié)作混合網(wǎng)絡(luò)用于根據(jù)所述目標(biāo)函數(shù)計算聯(lián)合獎勵，所述衛(wèi)星決策網(wǎng)絡(luò)用于根據(jù)所屬智能體的當(dāng)前局部觀測信息，輸出所屬智能體的路由決策； 根據(jù)所述衛(wèi)星交互經(jīng)驗數(shù)據(jù)進(jìn)行所述衛(wèi)星智能體網(wǎng)絡(luò)的訓(xùn)練，得到訓(xùn)練后的衛(wèi)星智能體網(wǎng)絡(luò)；其中，每個所述衛(wèi)星決策網(wǎng)絡(luò)用于根據(jù)局部觀測信息計算局部價值函數(shù)，所述多星協(xié)作混合網(wǎng)絡(luò)用于根據(jù)全局狀態(tài)信息和所有所述局部價值函數(shù)生成全局價值函數(shù)，所述全局價值函數(shù)和所述聯(lián)合獎勵用于更新網(wǎng)絡(luò)參數(shù)； 將所述訓(xùn)練后的衛(wèi)星智能體網(wǎng)絡(luò)中的衛(wèi)星決策網(wǎng)絡(luò)分別部署到相應(yīng)所述智能體上，以使所述智能體基于所部署的衛(wèi)星決策網(wǎng)絡(luò)進(jìn)行路由決策； 所述衛(wèi)星交互經(jīng)驗數(shù)據(jù)存儲在經(jīng)驗回放池中；根據(jù)所述衛(wèi)星交互經(jīng)驗數(shù)據(jù)進(jìn)行所述衛(wèi)星智能體網(wǎng)絡(luò)的訓(xùn)練，得到訓(xùn)練后的衛(wèi)星智能體網(wǎng)絡(luò)的步驟，包括： 在所述經(jīng)驗回放池中進(jìn)行非均勻抽樣，得到目標(biāo)樣本數(shù)據(jù)； 根據(jù)所述目標(biāo)樣本數(shù)據(jù)，通過所述衛(wèi)星智能體網(wǎng)絡(luò)獲取所述全局價值函數(shù)； 根據(jù)所述全局價值函數(shù)和所述目標(biāo)樣本數(shù)據(jù)中的聯(lián)合獎勵，通過反向傳播算法更新所述多星協(xié)作混合網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)和各所述衛(wèi)星決策網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)； 所述衛(wèi)星交互經(jīng)驗數(shù)據(jù)中的每個數(shù)據(jù)樣本的抽樣概率p t如下： ； ； 其中，ε表示預(yù)設(shè)數(shù)值，ε用于防止抽樣概率為零，表示狀態(tài)下，所述多星協(xié)作混合網(wǎng)絡(luò)預(yù)測的價值與真實(shí)價值之間的誤差，s t表示t時刻的全局狀態(tài)，a t表示t時刻的聯(lián)合動作，表示所述多星協(xié)作混合網(wǎng)絡(luò)在狀態(tài)、網(wǎng)絡(luò)參數(shù)下的價值，表示所述多星協(xié)作混合網(wǎng)絡(luò)在狀態(tài)（）、網(wǎng)絡(luò)參數(shù)下的價值，r t表示t時刻的聯(lián)合獎勵，表示預(yù)設(shè)的折扣因子，A表示衛(wèi)星的動作空間。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人北京郵電大學(xué)，其通訊地址為：100088 北京市海淀區(qū)西土城路10號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。