浙江大學江晗獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉浙江大學申請的專利一種基于低秩細粒度提示的多模態視頻檢索方法和系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120067390B 。
龍圖騰網通過國家知識產權局官網在2025-08-12發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510542738.9,技術領域涉及:G06F16/73;該發明授權一種基于低秩細粒度提示的多模態視頻檢索方法和系統是由江晗;金濤;趙洲設計研發完成,并于2025-04-28向國家知識產權局提交的專利申請。
本一種基于低秩細粒度提示的多模態視頻檢索方法和系統在說明書摘要公布了:本發明公開了一種基于低秩細粒度提示的多模態視頻檢索方法和系統,屬于多模態視頻檢索領域。預訓練含視頻、字幕表征生成模塊的多模態模型;在視頻表征生成模塊前N?1層編碼器每層引入提示更新模塊,微調后生成各層各模態細粒度提示。微調時,將各模態視頻特征與對應提示拼接成多模態輸入,進入當前編碼器層,同時各模態提示拼接進入提示更新模塊更新,更新后的提示替換當前編碼器層輸出中的對應提示;固定微調得到的各模態提示,在視頻表征生成模塊將前一編碼器輸出的各模態視頻特征與當前層各模態提示拼接作為當前層多模態輸入,最終得到的視頻表征用于匹配字幕表征,本發明可以實現模態數量及類型可擴展的多模態提示學習。
本發明授權一種基于低秩細粒度提示的多模態視頻檢索方法和系統在權利要求書中公布了:1.一種基于低秩細粒度提示的多模態視頻檢索方法,用于匹配視頻和字幕,其特征在于,所述的多模態視頻檢索方法包括: (1)預訓練一個包含視頻表征生成模塊和字幕表征生成模塊的多模態模型; (2)在視頻表征生成模塊中前N-1層編碼器的每一層引入提示更新模塊,以細粒度提示的方式生成相應層的各模態提示;其中N表示編碼器總層數; 微調訓練提示更新模塊的過程中,將各模態視頻特征與對應模態提示拼接得到多模態輸入,多模態輸入進入當前編碼器層進行處理,與此同時,輸入當前編碼器層的各模態提示彼此拼接,進入同一層的提示更新模塊以更新各模態提示,更新后的各模態提示代替當前編碼器層輸出中的對應模態提示,與當前編碼器層輸出結果中的各模態視頻特征部分拼接形成下一編碼器層的多模態輸入;進入最后一層編碼器層的各模態提示無需再更新,將最后一層編碼器層的輸出結果的最后一個token轉換為視頻表征,用于匹配字幕表征; (3)固定微調得到的各模態提示,在視頻表征生成模塊中將前一編碼器輸出結果中的各模態視頻特征部分與當前層的各模態提示拼接作為當前層的多模態輸入;視頻表征生成模塊最終得到的視頻表征用于匹配字幕表征以實現多模態視頻檢索任務。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人浙江大學,其通訊地址為:310058 浙江省杭州市西湖區余杭塘路866號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。