買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網獲悉深圳市智慧城市科技發(fā)展集團有限公司申請的專利基于路由技術的大語言模型高效混合推理方法、設備及存儲介質獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產權局授予，授權公告號為：CN119961424B 。

龍圖騰網通過國家知識產權局官網在2025-08-12發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202510450995.X，技術領域涉及：G06F16/3329；該發(fā)明授權基于路由技術的大語言模型高效混合推理方法、設備及存儲介質是由張曉春;王剛;鄒若奇;宋家驊設計研發(fā)完成，并于2025-04-10向國家知識產權局提交的專利申請。

本基于路由技術的大語言模型高效混合推理方法、設備及存儲介質在說明書摘要公布了：本申請公開了一種數據處理，涉及基于路由技術的大語言模型高效混合推理方法、設備及存儲介質技術領域，所述基于路由技術的大語言模型高效混合推理包括：若接收到用戶請求，確定所述用戶請求與緩存庫中各歷史請求之間的相似度；若不存在所述相似度超過相似度閾值，基于準確率評分模型確定各待選處理模型的評分指標，所述評分指標包括準確率、響應時間以及接口費用；根據所述評分指標確定各所述待選處理模型的綜合得分；根據所述綜合得分于各所述待選處理模型中選取目標模型，并將所述用戶請求路由至所述目標模型。本申請達成了優(yōu)化大語言模型的選擇以實現(xiàn)用戶請求的高效響應的技術效果。

本發(fā)明授權基于路由技術的大語言模型高效混合推理方法、設備及存儲介質在權利要求書中公布了：1.一種基于路由技術的大語言模型高效混合推理方法，其特征在于，所述的基于路由技術的大語言模型高效混合推理方法包括： 若接收到用戶請求，確定所述用戶請求與緩存庫中各歷史請求之間的相似度； 收集開源問答數據和業(yè)務真實問答數據，構建數據集； 將每一條問答數據中的問題輸入到各待選處理模型中，通過每個所述待選處理模型進行推理回答，生成至少一種回答結果； 將各所述待選處理模型生成的每種所述回答結果，與所述問答數據中的標準回答進行比較，計算準確率得分； 對于各所述待選處理模型，根據所述準確率得分計算方差，并根據準確率得分相應的得分權重，以及所述方差相應的方差權重，計算加權得分； 比較各所述待選處理模型的所述加權得分，將所述加權得分最高的所述待選處理模型作為對應的所述問答數據的分類標注； 加載預訓練的準確率評分模型，并將所述準確率評分模型的分類頭調整為所述待選處理模型對應數量的分類任務； 通過分類標注的所述問答數據對所述準確率評分模型進行訓練； 若不存在所述相似度超過相似度閾值，基于所述準確率評分模型確定各所述待選處理模型的評分指標，所述評分指標包括準確率、響應時間以及接口費用； 根據所述評分指標確定各所述待選處理模型的綜合得分； 根據所述綜合得分于各所述待選處理模型中選取目標模型，并將所述用戶請求路由至所述目標模型。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或專利權人深圳市智慧城市科技發(fā)展集團有限公司，其通訊地址為：518000 廣東省深圳市福田區(qū)華富街道蓮花一村社區(qū)皇崗路5001號深業(yè)上城(南區(qū))T1棟12層；或者聯(lián)系龍圖騰網官方客服，聯(lián)系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。