之江實驗室潘淑獲國家專利權
買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！
龍圖騰網獲悉之江實驗室申請的專利模型推理加速方法、系統、計算機設備和可讀存儲介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119990337B 。
龍圖騰網通過國家知識產權局官網在2025-08-19發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510466856.6，技術領域涉及：G06N5/04；該發明授權模型推理加速方法、系統、計算機設備和可讀存儲介質是由潘淑;張輝;高翔設計研發完成，并于2025-04-15向國家知識產權局提交的專利申請。
本模型推理加速方法、系統、計算機設備和可讀存儲介質在說明書摘要公布了：本申請涉及一種模型推理加速方法、系統、計算機設備和可讀存儲介質。方法包括：獲取待處理模型的模型文件；解析待處理模型文件，得到待處理模型的所有算子；若不存在物理加速卡，則將模型文件加載至CPU的內存空間，從用戶態預設的虛擬算子庫中確定與所有算子匹配的目標算子；將各算子映射至各自對應的目標算子，基于目標算子加速待處理模型推理。采用本方法能夠提高資源利用率。
本發明授權模型推理加速方法、系統、計算機設備和可讀存儲介質在權利要求書中公布了：1.一種模型推理加速方法，其特征在于，所述方法包括： 獲取待處理模型的待處理模型文件； 解析所述待處理模型文件，得到所述待處理模型的模型信息； 若不存在物理加速卡，則將所述待處理模型文件加載至CPU的內存空間，從虛擬加速卡中用戶態預設的虛擬算子庫中確定與所述模型信息中的所有算子匹配的目標算子；所述虛擬加速卡作為軟件定義的中間層實現對物理硬件進行抽象與調度，所述虛擬加速卡由內核態和用戶態兩部分組成，通過內核態實現硬件資源隔離與動態內存管理，用戶態提供統一算子庫及SIMD優化； 將各所述算子映射至各自對應的目標算子，基于所述目標算子完成所述待處理模型推理； 若存在物理加速卡且所述物理加速卡支持所述模型信息中部分算子，則將所述待處理模型文件加載至所述物理加速卡的顯存空間； 調用用戶態的應用層接口，根據部分所述算子通過統一算子庫的動態路由引擎路由至所述物理加速卡的推理算子庫，將部分所述算子中各所述算子映射至所述推理算子庫中各自對應的目標算子； 將剩余算子加載至CPU的內存空間，從用戶態預設的虛擬加速卡算子庫中確定與所有所述剩余算子匹配的虛擬算子庫，將所述剩余算子映射至所述虛擬算子庫； 基于所述推理算子庫和所述虛擬算子庫，完成所述待處理模型推理。
如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人之江實驗室，其通訊地址為：311121 浙江省杭州市余杭區中泰街道科創大道之江實驗室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
免責聲明
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
開放平臺
擔保交易
惠及多方
會員特惠
專屬平臺
適合多方
數據共享
功能齊全
皖公網安備 34010402703815號