買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉東北大學申請的專利一種基于強化學習的個性化習題推薦方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116680477B 。

龍圖騰網通過國家知識產權局官網在2025-08-08發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310703313.2，技術領域涉及：G06F16/9535；該發明授權一種基于強化學習的個性化習題推薦方法是由張天成;李季;李捷;張馨藝;于明鶴;于戈設計研發完成，并于2023-06-14向國家知識產權局提交的專利申請。

本一種基于強化學習的個性化習題推薦方法在說明書摘要公布了：本發明提供一種基于強化學習的個性化習題推薦方法，涉及教育數據挖掘技術領域。本發明首先獲得學習者學習記錄，通過知識追蹤模型判斷出學習者潛在的知識水平，將其作為學習者特征的一部分，使得對學習者的特征建模更加準確。之后通過強化學習算法來刪除習題記錄中學習者誤選到的不滿意的習題，從而提升推薦的準確性。最后通過個性化推薦模型對學習者進行習題推薦。本發明將個性化推薦、知識追蹤、強化學習算法相結合，在考慮學習者潛在知識水平的同時，還去掉了學習過程中誤選習題帶來的影響，具有重要的理論和實際運用價值。

本發明授權一種基于強化學習的個性化習題推薦方法在權利要求書中公布了：1.一種基于強化學習的個性化習題推薦方法，其特征在于：包括以下步驟： 步驟1：利用知識追蹤模型計算出學習者潛在的知識水平，將其加入到個性化推薦模型的特征構建和習題記錄修改模型的狀態表示中； 步驟2：構建并訓練一個個性化推薦模型用于習題推薦； 步驟3：基于強化學習的DeepQ-Learning算法設計并訓練一個習題記錄修改模型，用來去掉學習過程中誤選到的不喜歡或者不滿意的習題； 所述習題記錄修改模型采用強化學習相關算法，包括模型的動作表示、狀態表示、獎勵函數和采用強化學習算法，具體如下： 為了刪除學習者學習過程中不喜歡或者不滿意的習題，每一步的動作at只有兩個值，at＝0表示在習題記錄中刪除該習題，at＝1表示在習題記錄中保留該習題； 學習者的狀態表示如下式所示： S＝[k1,k2,…,kN,p1,p2,…,pN] 其中，k1,k2,…,kN表示學習者的潛在知識水平，具體到第i個學習者的表示為 由知識追蹤模型給出；p1,p2,…,pN是學習者習題記錄和位置標識符的低維向量表示，位置標識符的作用是記錄修改的位置； 強化學習模塊的獎勵函數由個性化推薦模型給出，形式如下式所示： 其中，etarget是學習者在下一時刻真實選擇的習題，表示根據修改后的習題記錄選擇目標習題的概率，petarget|Ei表示根據原始習題記錄選擇目標習題的概率；強化學習模塊采取回合更新的策略，只有完成一個學習者的整個學習記錄的修改后才會獲得獎勵函數，其余時刻獎勵函數為0； 強化學習算法采取的是深度Q網絡算法DQN，該算法是將神經網絡和傳統強化學習算法中的Q-Learning算法相結合； 強化學習模塊將真實值和預測值的差值的平方作為損失函數，進行訓練和更新DQN模型的參數，損失函數具體公式如下式所示： 其中，Qθst,at表示在狀態st下選擇動作at將獲得的獎勵的預測值，由預測Q網絡計算得出，預測Q網絡的網絡參數為θ；表示狀態st下選擇動作at能獲得的獎勵的真實值；其中由目標Q網絡計算得出，表示下一個狀態st+1能獲得的最大獎勵值，目標Q網絡的網絡參數為rt是當前能獲得的獎勵值，由獎勵函數給出； 損失函數的梯度如下式所示： 根據梯度下降來更新網絡參數； 步驟4：將個性化推薦模型和習題記錄修改模型進行聯合訓練； 步驟5：使用步驟4聯合訓練后得到的習題記錄修改模型對學習者習題記錄進行修改，再使用步驟4聯合訓練后得到的個性化推薦模型對學習者進行習題推薦，得到習題推薦列表。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人東北大學，其通訊地址為：110819 遼寧省沈陽市和平區文化路三號巷11號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。