買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉杭州群核信息技術有限公司申請的專利基于多模態大模型的對話方法、裝置、設備以及存儲介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120448507B 。

龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510918795.2，技術領域涉及：G06F16/3329；該發明授權基于多模態大模型的對話方法、裝置、設備以及存儲介質是由朱皓;陳熠侃;董付春;宗蓋蓋設計研發完成，并于2025-07-03向國家知識產權局提交的專利申請。

本基于多模態大模型的對話方法、裝置、設備以及存儲介質在說明書摘要公布了：本公開提供了一種基于多模態大模型的對話方法、裝置、設備以及存儲介質。本公開涉及計算機技術領域，尤其涉及深度學習、大語言模型、問答系統、家裝設計軟件等技術領域。該方法包括：響應于前端界面的對話操作，獲取輸入的原始查詢文本和前端界面的界面圖片；利用視覺大語言模型，根據界面圖片中包含的視覺信息，對原始查詢文本進行改寫，得到增強查詢文本；根據原始查詢文本和增強查詢文本，在向量數據庫中檢索得到外部知識結果；將增強查詢文本和外部知識結果輸入問答模型，得到回答文本。根據本公開的方案，可以結合用戶的文本輸入和實時的操作界面視覺信息，更深刻地理解用戶意圖，從而提供更加精準、有效的回答。

本發明授權基于多模態大模型的對話方法、裝置、設備以及存儲介質在權利要求書中公布了：1.一種基于多模態大模型的對話方法，包括： 響應于前端界面的對話操作，獲取輸入的原始查詢文本和所述前端界面的界面圖片；其中，所述原始查詢文本包含對目標事件的問詢信息； 利用視覺大語言模型，根據所述界面圖片中包含的視覺信息，對所述原始查詢文本進行改寫，得到增強查詢文本； 根據所述原始查詢文本和所述增強查詢文本，在向量數據庫中檢索得到外部知識結果；其中，所述外部知識結果由所述原始查詢文本的召回結果和所述增強查詢文本的召回結果進行重新排序得到； 將所述增強查詢文本和所述外部知識結果輸入問答模型，得到回答文本；其中，所述回答文本包含調用所述前端界面中工具模塊以解決所述目標事件的指引信息或操作流程信息；其中，所述目標事件包括以下至少一種： 操作目標，指用戶意圖利用所述前端界面中的一種或多種工具模塊，以實現特定設計效果或完成特定操作任務； 異常狀態，指所述前端界面上呈現的、阻礙用戶正常操作的非預期狀態，包括錯誤彈窗或警告提示； 其中，所述根據所述原始查詢文本和所述增強查詢文本，在向量數據庫中檢索得到外部知識結果，包括： 通過第一文本向量化模型將所述原始查詢文本轉換為第一查詢向量； 通過第二文本向量化模型將所述增強查詢文本轉換為第二查詢向量； 分別使用所述第一查詢向量和第二查詢向量，在向量數據庫中檢索得到初步的候選文檔集合； 對所述候選文檔集合進行文檔重排與融合，生成最終的外部知識結果； 其中，所述對所述候選文檔集合進行文檔重排與融合，生成最終的外部知識結果，包括： 對所述候選文檔集合中的多個第一候選文檔和多個第二候選文檔的相關性分別進行評分；其中，所述多個第一候選文檔由所述第一查詢向量召回，所述多個第二候選文檔由所述第二查詢向量召回； 根據評分結果對所述多個第一候選文檔和所述多個第二候選文檔重新排序； 對重新排序的結果進行加權融合或倒數排序融合，生成最終的外部知識結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人杭州群核信息技術有限公司，其通訊地址為：310000 浙江省杭州市上城區莫干山路1418-40號1層106室(上城科技工業基地)；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。