山東海量信息技術研究院;山東師范大學孫建德獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉山東海量信息技術研究院;山東師范大學申請的專利一種應用于FPGA的深度卷積神經網絡混合精度量化方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN116502691B 。
龍圖騰網通過國家知識產權局官網在2025-08-08發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202310284018.8,技術領域涉及:G06N3/08;該發明授權一種應用于FPGA的深度卷積神經網絡混合精度量化方法是由孫建德;王贈惠;劉珂;萬文博;李圣濤;張化祥設計研發完成,并于2023-03-22向國家知識產權局提交的專利申請。
本一種應用于FPGA的深度卷積神經網絡混合精度量化方法在說明書摘要公布了:本發明公開了一種應用于FPGA的深度卷積神經網絡混合精度量化方法。首先針對將要部署神經網絡的FPGA硬件平臺的邏輯資源容量及對每層精度的要求選取合適的幾種量化位寬;其次,根據所使用神經網絡的權重分布直方圖峰值判斷當前層權重的重要程度并選擇一種作為當前層權重的量化位寬;然后在前向推理過程中根據激活值分布直方圖峰值判斷當前層激活值的重要程度并選擇一種作為當前層激活值的量化位寬;最后采用對稱均勻量化方式。該方法分析深度卷積神經網絡不同層的權重分布,針對不同層對量化的敏感程度對權重和激活值分配相應的量化位寬,不同于傳統的基于混合比特量化空間迭代搜索得到最優混合比特量化模型方式,實現了較方便快捷的混合精度量化策略。
本發明授權一種應用于FPGA的深度卷積神經網絡混合精度量化方法在權利要求書中公布了:1.一種應用于FPGA的深度卷積神經網絡混合精度量化方法,包括如下步驟: 步驟1:選取數據集和所需網絡模型,選取一個量化位寬的取值集合用于混合精度量化中為模型各層分配量化位寬,集合內部將其按照元素值升序進行排列,具體包括: 將所要使用的數據集劃分為訓練集、測試集和驗證集,在所劃分的訓練集中隨機選取一部分子集作為校準集,其中包括圖像以及標簽值;選取一個量化位寬的取值集合用于混合精度量化中為模型各層分配量化位寬,集合內部將其按照元素值升序進行排列,量化集合的長度為N;給定已經訓練至收斂的深度卷積神經網絡; 步驟2:統計所使用神經網絡的權重分布直方圖,直方圖的橫坐標對應權值,縱坐標對應權值的個數,直方圖集中的權值點反映當前權值的數量多,將直方圖峰值作為當前層權重的典型值,根據典型值大小判斷當前層權重的重要程度并據此分配權重的量化位寬,典型值大的卷積層分配較高的量化位寬; 步驟3:在訓練時的前向推理過程中將激活值分布直方圖峰值作為當前層激活值的典型值,根據典型值大小判斷當前層激活值的重要程度并據此分配激活值的量化位寬,典型值大的卷積層分配較高的量化位寬; 步驟4:訓練上述針對每層分配好合適位寬的網絡模型,其中量化方式采用對稱均勻量化; 步驟5:在FPGA端側進行推理,采用位運算來實現低位寬定點整數之間的卷積運算。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人山東海量信息技術研究院;山東師范大學,其通訊地址為:250000 山東省濟南市高新技術開發區國家信息通信國際創新園;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。