買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉南京大學申請的專利一種基于多模態特征的視頻實體關系及交互識別方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN113936236B 。

龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111116334.1，技術領域涉及：G06V20/40；該發明授權一種基于多模態特征的視頻實體關系及交互識別方法是由任桐煒;武港山;張貝貝;于凡;高妍欣設計研發完成，并于2021-09-23向國家知識產權局提交的專利申請。

本一種基于多模態特征的視頻實體關系及交互識別方法在說明書摘要公布了：一種基于多模態特征的視頻實體關系及交互識別方法，對影片中實體之間的交互進行預測識別：對影片根據場景劃分為中片段，對中片段分別向上聚合為長片段，向下分割為短片段，對于每個中片段，將提取的實體特征、實體對特征、視頻片段特征、音頻特征和文字特征進行拼接作為該片段的融合特征，取平均作為長片段的特征預測長片段中的實體關系，并將該平均特征連接到每一個中片段特征，用于預測對應的中片段中的實體之間的互動，實體關系和實體互動同時進行預測，并聯合訓練對應的識別網絡。本發明將長視頻分為三種長度的視頻，對長片段預測實體關系，對中片段預測實體交互和場景狀態，對短片段預測實體交互，構建出實體關系圖和互動圖。

本發明授權一種基于多模態特征的視頻實體關系及交互識別方法在權利要求書中公布了：1.一種基于多模態特征的視頻實體關系及交互識別方法，其特征是對影片利用識別、跟蹤手段提取出視覺特征，結合音頻和臺詞特征，對影片中實體之間的交互進行預測識別：對影片根據場景劃分為中等長度視頻片段，稱為中片段，首先根據場景、視覺和聲音模型對中片段分別向上聚合為長片段，以及根據場景的鏡頭向下分割為短片段，同時根據指定的人物截圖和場景截圖對中、短片段中的人物和場景進行識別和跟蹤，提取中片段中對應的實體特征，對中片段中同時出現的兩個實體提取實體對特征，并導出對應中片段的音頻和文字特征，對于每個中片段，將提取的實體特征、實體對特征、視頻片段特征、音頻特征和文字特征進行拼接作為該片段的融合特征，然后將構成一個長片段的多個中片段的特征取平均，作為長片段的特征預測長片段中的實體關系，并將該平均特征連接到每一個中片段特征，用于預測對應的中片段中的實體之間的互動，實體關系和實體互動同時進行預測，并聯合訓練對應的識別網絡； 由短片段直接預測人物的互動，用于提供中片段實體互動的時序； 對長片段的視頻、音頻和文字特征進行拼接，組成場景特征，再根據已知的場景標簽，訓練用來預測該視頻的場景信息的模型； 建立識別網絡用于識別視頻中的實體關系圖、實體交互圖以及場景信息，識別網絡的輸入包括待識別影片的中片段，以及指定的場景截圖、場景名稱、人物截圖及對應的人物名稱，輸出為對應場景和人物間的關系圖、互動圖以及相應的場景信息；使用多模態特征聯合訓練識別網絡，包括以下步驟： 1基于多模態特征，將輸入的中片段語義聚合為長片段，同時根據場景的鏡頭分割為多個短片段，每個短片段對應一個場景的鏡頭； 2根據給定的場景截圖，在步驟1得到的每個短中長片段中采用SURF特征匹配將場景截圖與幀進行匹配，選取匹配點總數最高的場景為視頻段所對應的場景，場景的軌跡在時間上為整個片段，在空間上是片段中每個幀的畫面區域； 3根據給定的人物截圖，在步驟1得到的每個短中長片段中采用人體跟蹤方法和人臉檢測識別方法進行人物的識別和跟蹤，并且通過SURF特征匹配將人物截圖與幀進行匹配作為人臉識別的補充，得到人物實體包圍框及其在幕中的軌跡； 4對步驟1得到的每個短中長片段進行平均采樣得到一組關鍵幀，然后輸入預訓練的C3D網絡計算得到視頻特征； 5在步驟1得到的每個短中長片段中對音頻提取梅爾頻率倒譜系數MFCC和對數梅爾能量LMFE特征，并計算MFCC特征和LMFE特征的一階差分和二階差分，得到聲音特征； 6對輸入視頻自動生成字幕，并根據時間軸對應到步驟1得到的每個短中長片段中，采用BERT網絡生成幕的文字特征； 7根據步驟2和步驟3中的場景軌跡和人物實體包圍框軌跡通過預訓練的C3D網絡計算實體的視覺特征，得到實體特征，并根據每兩個實體的聯合包圍框軌跡同樣計算實體對的視覺特征，得到實體對特征； 8對中片段中的每個實體對相關的視頻特征、聲音特征、文字特征、實體的視覺特征和實體對的視覺特征連接起來作為該實體對的互動特征； 9將組成一個長片段的所有中片段中的同一實體對通過8獲得的所有互動特征取平均，作為該實體對的關系特征，然后該實體對的關系特征與每一個互動特征連接作為最終的互動特征； 10對中片段的視頻特征、聲音特征、文字特征連接起來作為該中片段的場景特征； 11將8、9和10得到的關系特征、互動特征和場景特征轉換到語義空間，結合由BERT模型對關系謂語、互動謂語和場景狀態生成的語義特征，通過小樣本學習結合零樣本學習的方式，進行同時預測，聯合學習長片段上該實體對之間的關系和中片段上該實體對之間的互動關系以及中片段的場景狀態； 12根據步驟11預測的實體關系互動場景狀態，取與預定義的關系類別互動類別場景狀態類別相似性度量大于0的為關系互動場景狀態候選，構建初步的實體關系圖和互動圖，以及場景狀態圖； 13在步驟12的基礎上，根據實體的類型、名稱、關系的類型調整關系預測概率，補充實體間的關系； 14根據步驟13構建的長片段實體關系圖填充視頻知識圖，得到整個視頻上的實體關系圖，用于回答實體之間的關系和查找兩個實體之間的關系路徑；再根據步驟12構建的實體互動圖和場景狀態圖，得到中片段上的實體互動情況以及場景狀態，直接回答實體之間的互動問題以及場景識別問題； 15對短視頻段中的每個實體對相關的視頻特征、聲音特征、文字特征、實體的視覺特征和實體對的視覺特征連接起來作為該實體對的互動特征； 16將15得到的互動特征轉換到語義空間，結合由BERT模型對互動謂語生成的語義特征，通過小樣本學習結合零樣本學習的方式，預測短視頻段上該實體對之間的互動關系； 17根據步驟16預測的實體互動，仿照步驟12和13得到最后的短視頻段實體互動圖，將組成同一個中片段的所有短視頻段中的實體互動按時間先后進行排序，用于回答實體互動順序問題。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人南京大學，其通訊地址為：210093 江蘇省南京市鼓樓區漢口路22號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。