買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉江南大學申請的專利一種基于異步聯邦和深度強化學習的協作邊緣緩存方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115297170B 。

龍圖騰網通過國家知識產權局官網在2025-08-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210680654.8，技術領域涉及：H04L67/568；該發明授權一種基于異步聯邦和深度強化學習的協作邊緣緩存方法是由吳瓊;趙宇設計研發完成，并于2022-06-16向國家知識產權局提交的專利申請。

本一種基于異步聯邦和深度強化學習的協作邊緣緩存方法在說明書摘要公布了：本發明公開了一種基于異步聯邦和深度強化學習的協作邊緣緩存方法，該方法首先使用異步聯邦學習框架進行邊緣內容緩存，可以使車輛用戶的數據都在本地訓練從而降低車輛用戶的隱私風險，降低通信成本，適應高度動態的車輛網絡環境，其次，使用自動編碼器模型預測內容流行度，每個車輛用戶使用基于自動編碼器的內容流行度預測算法從車輛用戶歷史請求內容和上下文信息學習數據中潛在的相關性，從而提高每個邊緣設備的緩存性能，最后，使用duelingDQN強化學習算法來學習每個邊緣設備中車輛用戶的請求內容數據，基于自動編碼器模型預測出來的內容流行度，duelingDQN可以做出最優的緩存決策，降低車輛平均請求時延和提高每個邊緣設備的緩存性能。

本發明授權一種基于異步聯邦和深度強化學習的協作邊緣緩存方法在權利要求書中公布了：1.一種基于異步聯邦和深度強化學習的協作邊緣緩存方法，其特征在于，該方法使用的通信網絡架構為：最高層為核心網絡和宏基站MBS，中間層包括多個路側單元RSU，其作為邊緣服務器緩存內容，底層包括車輛和車輛請求內容，該方法包括以下步驟： 1RSU覆蓋范圍內包含有多個車輛，計算每輪通信回合中基于車輛速度的運動模型，在所述運動模型中，所有車輛朝著同一個方向行駛，車輛行駛通過不同RSU的覆蓋范圍時，車輛在當前時刻連接與其通信的RSU后，移交給下一個相鄰的RSU； 2依據某通信回合中每輛車的信道增益得到在某時刻RSU與其覆蓋范圍內的移動車輛的無線傳輸速率，所述移動車輛由MBS提供服務； 3車輛獲取請求內容，從而得到某通信回合中所有車輛的內容請求時延，并依據所述請求時延描述協作緩存策略問題；車輛獲取請求內容的方法為：如果車輛請求的內容緩存在本地的RSU中，則本地RSU直接將內容傳遞給車輛；如果車輛請求的內容沒有緩存在本地的RSU，則車輛從其他相鄰的RSU獲取請求內容；如果請求的內容沒有緩存在本地RSU和相鄰RSUs，車輛從MBS獲取請求內容； 4應用異步聯邦學習框架來聚合在高度動態的車聯網環境下來自每個車輛的本地模型，從而得到全局模型，經過多次迭代訓練出高效收斂的全局模型； 5利用全局模型對各個車輛用戶的流行內容進行預測，并進行聚合比較，得到內容流行度最高的多個內容； 6采用duelingDQN解決協作緩存策略問題并確定將流行度最高的多個內容中的哪些內容主動緩存在適當的RSU中，確定將流行度最高的多個內容中的哪些內容主動緩存在適當的RSU中的方法為： 在DQN基礎上，duelingDQN將action-state值函數Q分解為狀態值函數V和動作優勢函數A，形成duelingDQN神經網絡，狀態值函數V與動作無關，動作優勢函數A與動作有關，它是在狀態st下執行動作at來解決獎勵偏差問題的平均回報，動作Q-value函數寫成： Qst,at；θ＝Vst；θ+Ast,at；θ 其中，θ為duelingDQN的神經網絡參數，動作優勢通常被設置為單個動作優勢函數減去特定狀態下所有動作優勢函數的平均值，動作Q-value函數計算如下： 因此，使用duelingDQN來解決內容緩存問題，狀態空間、動作空間和獎勵函數描述如下： 狀態空間st：狀態空間st被定義為st＝s1,s2,...,sc，在這里st代表本地RSU緩存的具體內容，c是RSU的緩存容量； 動作空間at：動作空間代表是否需要替換RSU中的緩存內容，那些沒有緩存在本地RSU的流行內容服從集合κ，如果at＝1，將從集合κ中隨機選擇kkc內容并且交換緩存在本地RSU的索引最低的k個內容，然后再基于內容流行度對狀態空間的內容索引進行降序排序，得到st+1，這樣一來可以確保在時間t，在本地RSU中被替換的內容是最不流行的內容，at＝0代表在本地RSU緩存的內容不會被替換； 獎勵函數rt：當本地RSU緩存狀態是st，執行完動作at后將獲得獎勵函數rt；為了最小化總的內容請求時延和系統獎勵，設計了獎勵函數如下： 是在時間t，車輛Vi r請求內容f的獎勵； λ1+λ2+λ3＝1,λ1＜λ2≤λ3，是車輛從本地RSU獲得請求內容f的獎勵；是車輛從相鄰RSU獲得請求內容f的獎勵；是車輛從MBS獲得請求內容f的獎勵，RSU根據本地內容流行度和車輛的請求內容信息，通過最大化獎勵函數rt來優化緩存策略π*。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人江南大學，其通訊地址為：214000 江蘇省無錫市蠡湖大道1800號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。