買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉天津大學申請的專利一種基于智能體強化學習的分布式控制平面負載均衡方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116319571B 。

龍圖騰網通過國家知識產權局官網在2025-08-15發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310282142.0，技術領域涉及：H04L47/125；該發明授權一種基于智能體強化學習的分布式控制平面負載均衡方法是由周鈺雯;周曉波;何瑞;陳勝設計研發完成，并于2023-03-22向國家知識產權局提交的專利申請。

本一種基于智能體強化學習的分布式控制平面負載均衡方法在說明書摘要公布了：本發明公開了一種基于智能體強化學習的分布式控制平面負載均衡方法，步驟：為每個交換機配備智能體；構建智能體的深度強化學習神經網絡；訓練深度強化學習神經網絡模型；通過智能體分別將當前的本地狀態信息輸入各自訓練好的模型中，各個智能體將分別輸出一組動作的價值，選擇擁有最高值的可用控制器，并將后續的請求發送給所選擇的控制器。本發明通過在所有交換機上配備智能體，實現了所有控制器之間基于交換機的負載平衡，這種模式下不再需要判斷每個控制器是否過載而消耗額外帶寬來進行控制器和交換機之間的頻繁協商，每個交換機可快速準確地選擇合適的控制器。本發明在不同場景下將控制器之間最大響應延遲平均降低了5％～15％。

本發明授權一種基于智能體強化學習的分布式控制平面負載均衡方法在權利要求書中公布了：1.一種基于智能體強化學習的分布式控制平面負載均衡方法，其特征在于，包括以下步驟： S1、為每個交換機配備智能體， S2、構建智能體的深度強化學習神經網絡； S3、對每個智能體的深度強化學習神經網絡模型進行訓練； S4、通過智能體分別將當前的本地狀態信息輸入各自訓練好的神經網絡模型中，各個智能體將分別輸出一組動作的價值，選擇擁有最高值的可用控制器，并將后續的請求發送給所選擇的控制器； 所述深度強化學習神經網絡模型中，使用了深度強化學習框架，由狀態表示、動作表示、獎勵表示和策略表示四部分組成： 狀態表示：為深度強化學習網絡模型輸入的狀態，采用一個三元組πi,νi,ωi表示，包括最近一個時間片ti內的平均發送速率νi，控制器對于交換機請求的平均回復延遲ωi以及最近一個時間片ti內交換機映射的控制器πi； 動作表示：輸出的動作向量的每一個值代表了在輸入狀態下選擇某一個控制器的評分，并選擇得分最高值的控制器作為下一個ti+1時間片內交換機預期映射的控制器； 獎勵表示：使用最近一個時間片ti內整個控制平面的平均回復延遲與當前映射控制器的回復延遲的差值，作為最近一個時間片ti內選擇當前映射控制器這個動作的獎勵； 策略表示：深度強化學習神經網絡的輸出實則為兩個部分，分別是優勢函數A和狀態函數S，將二者相加再減去A各項之和的均值，即A+S-meanA，得到每一個動作的價值； 所述深度強化學習神經網絡模型在訓練過程中使用了兩個網絡，分別是主網絡和目標網絡，開始時隨機初始化主網絡的參數，并且復制給目標網絡，即主網絡和目標網絡兩個網絡的參數相同，目標網絡每隔一定的輪數就會復制主網絡的參數；對每個智能體的深度強化學習神經網絡模型進行訓練，具體步驟為： A1、訓練開始后，智能體從當前環境中抽取所需要的狀態信息s，輸入神經網絡，得到反映動作價值的n維向量，向量中第p個值代表在時間片ti+1選擇第p個控制器的價值； A2、采用epsilon探索-開發的策略，以1-epsilon的概率采取擁有最高值的動作a=argmaxaQs,a，而以epsilon的概率從n個動作中隨機采用，其中，Qs,a代表對狀態s下采用動作a能創造的累積價值，在執行動作a以后，環境進入下一個狀態s＇，并且反饋給智能體動作a相應的獎勵r，智能體利用r來更新Q值； A3、交換機經過與環境的多次交互，將產生的交互信息s,a,r,s’存入回放緩存中，并且打亂其順序以減弱數據之間的時間依賴性； A4、從緩存中隨機取一批數據，利用主網絡選出下一個狀態s＇下使價值最高的動作a*，并在目標網絡中執行動作a*，得到對應的價值Q-，結合緩存中存儲的獎勵值r，計算出目標網絡產生的當前狀態的Q值，不斷利用梯度下降的方法更新主網絡的參數，最小化主網絡產生的Q與目標網絡產生的Q-之間的均方誤差，得到訓練好的主網絡； 所述狀態信息s包括智能體本地存儲的最近一個時間片ti內的平均發送速率νi，控制器對于交換機請求的平均回復延遲ωi以及最近一個時間片ti內交換機映射的控制器πi，形成一個三元組πi,νi,ωi，作為深度強化學習神經網絡的輸入。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人天津大學，其通訊地址為：300072 天津市南開區衛津路92號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。