復旦大學吳祖煊獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉復旦大學申請的專利一種面向長視頻理解的采樣方法及系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120388323B 。
龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510873208.2,技術領域涉及:G06V20/40;該發明授權一種面向長視頻理解的采樣方法及系統是由吳祖煊;姜育剛;林星耀設計研發完成,并于2025-06-27向國家知識產權局提交的專利申請。
本一種面向長視頻理解的采樣方法及系統在說明書摘要公布了:本發明涉及計算機視覺領域,具體為一種面向長視頻理解的采樣方法及系統,步驟包括:獲取長視頻及視頻字幕作為輸入,利用視頻大模型將長視頻分成多個語義一致的視頻片段;對于各個視頻片段通過視覺編碼器映射得到輸入序列,將輸入序列輸入視頻大語言模型中,生成視頻片段的文字總結;對于視頻片段進行令牌采樣,計算視頻片段各幀之間的相對權重,并根據權重向每幀分配不同的令牌數量;將令牌采樣后的視頻幀的與文字總結輸入視頻大語言模型,基于視頻幀令牌與文字總結的匹配度,得到視頻片段的關鍵幀。與現有技術相比,本發明利用令牌采樣方法提高幀處理效率,解決現有長視頻理解方法中,多模態大模型顯存開銷和視頻信息完整性難以平衡的問題。
本發明授權一種面向長視頻理解的采樣方法及系統在權利要求書中公布了:1.一種面向長視頻理解的采樣方法,其特征在于,步驟包括: 獲取長視頻及視頻字幕作為輸入,利用視頻大模型將長視頻分成多個語義一致的視頻片段; 對于各個視頻片段通過視覺編碼器映射得到輸入序列,將輸入序列輸入視頻大語言模型中,生成視頻片段的文字總結; 對于視頻片段進行令牌采樣,計算視頻片段各幀之間的相對權重,并根據權重向每幀分配不同的令牌數量;所述的相對權重具體為:對于所有幀的壓縮視覺令牌之間互相計算注意力權重,以某一幀的相對于其他所有幀的注意力權重之和作為該幀的最終權重; 將令牌采樣后的視頻幀與文字總結輸入視頻大語言模型,基于視頻幀令牌與文字總結的匹配度,得到視頻片段的關鍵幀。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人復旦大學,其通訊地址為:200433 上海市楊浦區邯鄲路220號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。