買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉北京理工大學申請的專利一種兼具AdamW和SGDM的深度神經網絡優化方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116206172B 。

龍圖騰網通過國家知識產權局官網在2025-08-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211615040.8，技術領域涉及：G06V10/774；該發明授權一種兼具AdamW和SGDM的深度神經網絡優化方法是由林知微;張嵩川;王濤;王成吉;周亦煒設計研發完成，并于2022-12-15向國家知識產權局提交的專利申請。

本一種兼具AdamW和SGDM的深度神經網絡優化方法在說明書摘要公布了：本發明公開了一種兼具AdamW和SGDM的深度神經網絡優化算法。考慮目前大模型和大數據對模型收斂速度有較高要求，所有優化算法都有陷入局部最優的可能性，本發明引入分離式學習率的思想，將AdamW和SGDM兩種算法融合，提高了算法精確度，使收斂速度更快且效率更高；采用部分計算結果復用的方法，避免了算法時間和空間復雜度的增加；構建了避免局部最優策略并列結構，對AdamW采用舍棄部分更新量的策略，避免陷入局部最優后，因后期梯度過小難以跳出極值點的問題，對SGDM采用動態調整學習率的方式跳出局部最優；提出了學習率調整策略，在算法停止優化時，通過增大學習率的方式，使深度神經網絡跳出局部最優，有效提高了算法的最終精度。

本發明授權一種兼具AdamW和SGDM的深度神經網絡優化方法在權利要求書中公布了：1.一種兼具AdamW和SGDM的深度神經網絡優化方法，其特征在于，包括以下步驟： S1：根據數據集需要構建深度神經網絡模型，對深度神經網絡模型中的參數進行隨機初始化，將數據集分為訓練集和測試集兩部分，數據集為圖像數據； S2：計算深度神經網絡模型對應當前訓練數據的梯度； S3：根據當前訓練數據的梯度，計算深度神經網絡優化算法中的AdamW和SGDM部分的更新量； S4：舍棄深度神經網絡優化算法中AdamW的部分更新量； S5：若深度神經網絡停止優化，則調整SGDM部分的學習率； S6：將S3和S4中已處理的AdamW和SGDM部分乘以各自的學習率之后相加，得到每個參數的更新量； S7：完成權重衰減部分并根據S6中的更新量更新深度神經網絡中各個參數，迭代次數自加1；若已完成訓練集中所有數據的訓練，則epoch自加1； S8：當所述epoch達到設定值時，輸出當前的模型參數，結束本流程；否則，返回S2； 所述S1包括以下子步驟： S11：讀取預設定的超參數和隨機種子； S12：根據所述隨機種子對深度神經網絡模型的參數按照均值為0，方差為1的正態分布進行隨機初始化； 所述S3包括以下子步驟： S31：計算梯度的累計和梯度平方的累計； S32：計算AdamW的自適應學習率部分； S33：將梯度的累計、梯度平方累計的倒數和自適應學習率相乘組成AdamW的更新量，同時梯度的累計也組成SGDM的更新量； S4包括以下子步驟： S41：根據所述超參數，生成與深度學習模型包含參數總量一致的，符合伯努利分布的數列； S42：將AdamW的更新量依次與所述數列中的數相乘，得到處理后的AdamW的更新量； S5包括以下子步驟： S51：在每一個epoch的最后一次訓練結束后，記錄當前訓練的訓練集精確度，若此時已記錄的精確度數量達到5，則進入S52，否則進入S6； S52：刪除最早記錄的訓練集精確度，若此時記錄中的最大值與最小值的差距小于1％，則記錄當前epoch數為epst，在5個epoch后的最后一個epoch為eped； S53：若epst≤epocheped，則提升SGDM部分對應的學習率；否則，將學習率恢復至所述超參數的初始值。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京理工大學，其通訊地址為：100081 北京市海淀區中關村南大街5號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。