買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉中國科學院計算技術研究所申請的專利基于深度強化學習的實時集中式無線網絡調度方法和設備獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114189937B 。

龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111327752.5，技術領域涉及：H04W72/0446；該發明授權基于深度強化學習的實時集中式無線網絡調度方法和設備是由王琪;何晨濤;黃建輝;徐勇軍設計研發完成，并于2021-11-10向國家知識產權局提交的專利申請。

本基于深度強化學習的實時集中式無線網絡調度方法和設備在說明書摘要公布了：本發明提出一種基于深度強化學習的實時集中式無線網絡調度方法和系統，包括：獲取由一個接入點和多個用戶節點互連組成的無線網絡，在每個時隙，接入點根據所有數據流對應的發送隊列信息，得到各數據流的狀態，集合所有數據流的狀態構成當前時隙的環境狀態，接入點獲取所有數據流的流量模型與鏈路質量作為環境特征信息，將環境狀態和環境特征信息輸入至決策模型，接入點執行決策模型輸出結果對應的調度決策；接入點執行調度決策后，收到網絡環境的反饋；將交互信息和環境狀態和環境特征信息作為經驗，存儲至子區域；從經驗回放池中抽取經驗，以訓練更新當前決策模型。本發明訓練時間不會隨數據流數量增加而快速增長，能夠快速的收斂到最優實時吞吐量。

本發明授權基于深度強化學習的實時集中式無線網絡調度方法和設備在權利要求書中公布了：1.一種基于深度強化學習的實時集中式無線網絡調度方法，其特征在于，包括： 步驟1、獲取由一個接入點和多個用戶節點互連組成的無線網絡，接入點調度該無線網絡中的所有數據流，該無線網絡中接入點在與網絡環境交互前，在經驗回放池中新建一個子區域； 步驟2、該接入點與網絡環境交互時，在每個時隙，該接入點根據所有數據流對應的發送隊列信息，得到各數據流的狀態，集合所有數據流的狀態構成當前第t個時隙的環境狀態st，同時，該接入點獲取所有數據流的流量模型與鏈路質量作為環境特征信息，將該環境狀態和該環境特征信息輸入至決策模型，該接入點執行該決策模型輸出結果對應的調度決策at； 步驟3、該接入點執行調度決策at后，收到網絡環境的反饋rt和終止標識endt，所有數據流的狀態更新至st+1；將交互信息st,at,rt,st+1,endt和該環境狀態和該環境特征信息作為經驗，存儲至該子區域； 步驟4、從該經驗回放池中抽取經驗，以訓練更新當前該決策模型； 其中，該數據流的狀態由該數據流待調度的緊急程度與該數據流的數據包到達因子組成； 該決策模型的訓練過程包括： 創建兩個具有相同結構的神經網絡，分別為當前網絡和目標網絡，當接入點需要做出調度決策時，會將當前時隙t的環境狀態和環境特征信息輸入至該目標網絡，得到各調度動作的價值，接入點以ε的概率隨機選取一個動作執行調度，以1-ε的概率選擇價值最高的動作執行調度，ε為0到1之間的小數， 當接入點執行動作at后，得到反饋rt和終止標識endt，環境狀態更新至st+1；將交互信息st,at,rt,st+1,endt存儲到該經驗回放池，其中，endt是終止表示符，當t≥L*Prd且t％Prd＝0時，endt＝true，否則endt＝false，L是恒定的正整數，滿足： L*Prd≥maxk∈[1,K]offsetk+Dk 其中，Prd是所有數據流周期的最小公倍數，Dk表示數據流k中數據包的截止期限，offsetk表示數據流k的首個數據包到達時間與網絡開始時間的偏移量，當endt＝true時，接入點與當前訓練環境的交互過程結束，開始與另一個訓練環境進行交互； 從經驗回放池中隨機抽取部分交互信息后，通過最小化損失函數來更新該當前網絡的參數，目標網絡的參數θtarget每隔預定時間，會被該當前網絡的參數θcurrent所覆蓋，達到預設訓練時長后，保存當前目標網絡作為該決策模型； ε的計算方法如下： 其中，ε0＝0.99，εmin＝0.001，train_time指接入點已經交互的環境的數量，初始值為0，當接入點與一個環境交互結束后，該值加1。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中國科學院計算技術研究所，其通訊地址為：100080 北京市海淀區中關村科學院南路6號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。