上海交通大學宋利獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉上海交通大學申請的專利基于雙向幀預測的極低碼率人臉視頻混合壓縮方法及系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114885178B 。
龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210423557.0,技術領域涉及:H04N19/577;該發明授權基于雙向幀預測的極低碼率人臉視頻混合壓縮方法及系統是由宋利;唐安妮;解蓉設計研發完成,并于2022-04-21向國家知識產權局提交的專利申請。
本基于雙向幀預測的極低碼率人臉視頻混合壓縮方法及系統在說明書摘要公布了:本發明公開了一種針對人臉視頻的雙向幀預測方法,包括:在時域上采樣人臉視頻的三幀圖像;獲得所述三幀圖像各自對應的關鍵點熱力圖;結合所述三幀圖像和所述關鍵點熱力圖,重建出中間幀圖像。本發明有助于合成時域上光滑流暢的視頻,提升觀者的主觀體驗;本發明還公開了基于上述方法的一種極低碼率的人臉視頻混合壓縮方法,將傳統編碼技術能夠進行像素級精確恢復的優勢與深度學習技術能夠基于簡略信息進行高質量重建的優勢相結合,達到了在極低碼率下合成高質量人臉視頻的目的。
本發明授權基于雙向幀預測的極低碼率人臉視頻混合壓縮方法及系統在權利要求書中公布了:1.一種針對人臉視頻的雙向幀預測方法,其特征在于,包括: 在時域上采樣人臉視頻的三幀圖像; 獲得所述三幀圖像各自對應的關鍵點熱力圖; 結合所述三幀圖像和所述關鍵點熱力圖,重建出中間幀圖像; 所述在時域上采樣人臉視頻的三幀圖像,包括: 采集頭尾兩幀為關鍵幀圖像,表示為Fk1、Fk2; 用Fk1和Fk2預測間隔在兩幀之間的中間幀,即非關鍵幀圖像Ft; 所述獲得所述三幀圖像各自對應的關鍵點熱力圖,包括: 對于在兩幀關鍵幀之間的非關鍵幀圖像Ft,利用基于卷積神經網絡的關鍵點提取器提取到的關鍵點坐標,生成關鍵點熱力圖Ht; 對于所述關鍵幀圖像Fk1、Fk2,使用基于卷積神經網絡的關鍵點提取器得到關鍵點熱力圖Hk1、Hk2; 結合所述三幀圖像和所述關鍵點熱力圖,重建出中間幀圖像,包括: 所述關鍵幀圖像Fk1、所述關鍵幀圖像Fk1的關鍵點熱力圖Hk1以及所述非關鍵幀圖像Ft的關鍵點熱力圖Ht輸入到基于卷積神經網絡的稠密運動網絡中,得到稠密光流Tk1和遮擋圖Ok1; 將所述關鍵幀圖像Fk1、所述稠密光流Tk1和所述遮擋圖Ok1輸入到基于卷積神經網絡的生成器中得到利用關鍵幀圖像Fk1重建的非關鍵幀圖像Ft1 ’; 所述關鍵幀圖像Fk2、所述關鍵幀圖像Fk2的關鍵點熱力圖Hk2以及所述非關鍵幀圖像Ft的關鍵點熱力圖Ht輸入到基于卷積神經網絡的稠密運動網絡中,得到稠密光流Tk2和遮擋圖Ok2; 將所述關鍵幀圖像Fk2、所述稠密光流Tk2和所述遮擋圖Ok2輸入到基于卷積神經網絡的生成器中得到利用關鍵幀圖像Fk2重建的非關鍵幀圖像Ft2 ’; 將非關鍵幀圖像Ft的關鍵點熱力圖Ht、關鍵幀圖像Fk1的關鍵點熱力圖Hk1和關鍵幀圖像Fk2的關鍵點熱力圖Hk2輸入到基于卷積神經網絡的掩膜預測器得到人臉掩膜Mt; 將人臉掩膜Mt加權作用于重建的非關鍵幀圖像Ft1 ’、Ft2 ’上,得到最終重建的非關鍵幀重建圖像Ft ’。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人上海交通大學,其通訊地址為:200240 上海市閔行區東川路800號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。