買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉杭州卷積云科技有限公司申請的專利一種實時邊云協同卷積神經網絡推理方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114970823B 。

龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210611109.3，技術領域涉及：G06N3/0464；該發明授權一種實時邊云協同卷積神經網絡推理方法及系統是由楊樹森;趙聰;趙鵬;張展華;任雪斌;余翰喬;韓青;郭思言設計研發完成，并于2022-05-31向國家知識產權局提交的專利申請。

本一種實時邊云協同卷積神經網絡推理方法及系統在說明書摘要公布了：一種實時邊云協同卷積神經網絡推理方法及系統，包括以下步驟：將壓縮后的CNN模型轉化為邊云協同推理模型SW?CNN；得到SW?CNN各層在各壓縮率下的通信計算延時；根據實時網絡性能調整壓縮率c；建模實時邊云協同推理控制問題并求解，為SW?CNN選擇壓縮率；調整SW?CNN的壓縮率至cn，分析任務pn。本發明將CNN模型劃分為邊緣和云端兩部分，通過邊緣少量模型計算壓縮原始數據，之后將邊緣輸出的CNN模型中間數據上傳給云，在云端完成大量模型計算得到最終推理結果，實現高精度、高響應性的實時CNN推理，根據實時任務負載和網絡環境，動態調整模型壓縮率，支撐波動的網絡環境中的實時流式智能分析。

本發明授權一種實時邊云協同卷積神經網絡推理方法及系統在權利要求書中公布了：1.一種實時邊云協同卷積神經網絡推理方法，其特征在于，包括以下步驟： 在邊緣設備上對CNN模型通過特征圖壓縮，將壓縮后的CNN模型轉化為邊云協同推理模型SW-CNN； 在給定的邊云系統中進行信息搜集得到SW-CNN各層在各壓縮率下的通信計算延時； 對實時邊云協同CNN推理控制問題進行建模，對按照時間序列i＝1,2...到來的流式推理任務，根據實時網絡性能調整壓縮率c； 初始化任務隊列，控制器根據當前的任務剩余時間信息及實時網絡情況，建模實時邊云協同推理控制問題并求解，為SW-CNN選擇壓縮率；調整SW-CNN的壓縮率至cn，處理任務pn； 任務pn完成后，若任務隊列不為空，則重復調整SW-CNN的壓縮率至cn，處理任務pn，直到處理完任務隊列中的所有任務； 在邊緣設備上對CNN模型通過特征圖壓縮具體包括： 給定CNN層之間的通信數據為特征圖，其數據量Ds＝Fs*Fn*Fb，其中Fs表示單張特征圖的面積，Fn表示特征圖的數量，Fb表示量化后的數據bit位數，分別降低Fn和Fb，假設經過壓縮操作后剩余的特征圖數量為Frn，剩余的數據量化位數為Frb，則Frn,Frb為當前的壓縮設置，該設置的通信壓縮率c＝1-Frn*FrbFn*Fb，剩余率r＝1-c，經過壓縮之后，在原有數據集上通過端到端訓練進行模型微調以恢復精度，計算壓縮率-精度的帕累托集合，確定選取相同壓縮率下精度最高的方案； 將壓縮后的CNN模型轉化為邊云協同推理模型SW-CNN具體包括： SW-CNN轉化，對于給定的CNN模型，得到大具有不同壓縮率及精度的CNN模型，將給定CNN模型轉化為集成了不同壓縮率的CNN模型的SW-CNN模型，對于給定的CNN模型，其相應的SW-CNN模型具有相同的結構，對于給定的具有FN及FB的劃分層，根據不同壓縮設置生成不同的子模型，除給定劃分層外，不同的子模型共享所有參數，對于壓縮層，不同的子模型根據Frn,Frb相互嵌套并共享參數，使用Frn,Frb壓縮設置的子模型使用從序號1到Frn的特征圖及1到Frb的數據bit位數，故Frn,Frb大的子模型包含了特征圖數量及壓縮位數小的子模型，即小的子模型嵌套在大的子模型中； 調整壓縮率： 當上一任務pn-1完成時，控制器以當前任務數量pn、上一任務給當前任務留下的剩余時間ln-1以及當前的網絡帶寬bn為輸入，決定當前對于該批任務的壓縮率cn以最大化實時的性能指標RP，若任務pn-1在時刻完成，則下一批任務pn的完成時間其中rcn,pn表示該批任務的計算時間，表示通信時間，考慮用戶限定延時luser，任務pn的剩余時間為其中x_＝min{x,luser}以保證剩余時間不大于用戶給定時間，Δtn-1,n為前后兩批任務到來的時間間隔，若ln＜0任務pn一定延誤，對于任務p1到pn，平均精度為延誤率為其中*表示階躍函數，控制目標函數為其中γ為非負實數，表示用戶對于實時控制的偏向，γ越大，控制越傾向于降低延誤率，同時可以容忍更高的精度損失，實時推理控制問題建模為求解 s.t. l0＝luser c1,c2,…,cN∈CPareto 其中，CPareto表示僅選取帕累托集合中的壓縮率以保證相同壓縮率下提供最高的推理精度，l0表示第一個任務的剩余時間，若無積壓任務可以立即處理，l0等于luser；若有積壓任務，設當前積壓任務已到來t0時間，則l0＝luser-t0； 為SW-CNN選擇壓縮率 若任務隊列為空，掛起；否則，從隊列加載當前推理任務pn，采樣當前帶寬bn、上一任務的剩余時間和當前隊列長度N，基于模型預測控制算法，預測未來N個時間點的任務及帶寬其中，N等于積壓的任務批數，建模實時邊云協同推理控制問題，通過離散帶寬數據將規劃優化問題轉化為組合優化問題，使用模擬退火算法搜索最優方案，其中，當積壓任務變多時，選取更高的壓縮率以保證實時性，設完整的壓縮率集合為CPareto，當隊列中積壓了N批任務時，通過在CPareto中按從小到大的順序刪除前N個較小的壓縮率得到當前可行的壓縮率集合C'Pareto，并使得可行集合的容量cardC'Pareto等于cardCPareto-N+，當N＝1時，搜索空間等于cardCPareto，隨著N的增大可行集合的容量cardC'Pareto逐漸增大。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人杭州卷積云科技有限公司，其通訊地址為：310000 浙江省杭州市余杭區倉前街道良睦路1288號6幢302-1室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。