南京大學朱昊獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉南京大學申請的專利一種基于運動一致性的不同步視頻新視角合成裝置及方法獲國家發(fā)明授權專利權,本發(fā)明授權專利權由國家知識產(chǎn)權局授予,授權公告號為:CN120378593B 。
龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-08-22發(fā)布的發(fā)明授權授權公告中獲悉:該發(fā)明授權的專利申請?zhí)?專利號為:202510849461.4,技術領域涉及:H04N13/167;該發(fā)明授權一種基于運動一致性的不同步視頻新視角合成裝置及方法是由朱昊;張欣卓;馬展;曹汛;朱鈞宇設計研發(fā)完成,并于2025-06-24向國家知識產(chǎn)權局提交的專利申請。
本一種基于運動一致性的不同步視頻新視角合成裝置及方法在說明書摘要公布了:本發(fā)明提供了一種基于運動一致性的不同步視頻新視角合成裝置及方法,所述裝置包括:神經(jīng)場景建模模塊,用于構建動態(tài)場景的神經(jīng)表示;相機時間偏移估計模塊,用于為每個相機引入可學習的時間偏移參數(shù)并優(yōu)化;全局和局部運動一致性監(jiān)督模塊,用于計算各相機視角下神經(jīng)場景的三維場景流并投影為二維,與預計算的二維光流進行對比,構建時間對齊監(jiān)督信號。本發(fā)明可以在無需外部同步設備的條件下,實現(xiàn)對不同步視頻的精確時間對齊與高質(zhì)量動態(tài)新視角圖像合成。
本發(fā)明授權一種基于運動一致性的不同步視頻新視角合成裝置及方法在權利要求書中公布了:1.一種基于運動一致性的不同步視頻新視角合成裝置,其特征在于,包括神經(jīng)場景建模模塊、相機時間偏移估計模塊、全局和局部運動一致性監(jiān)督模塊; 所述神經(jīng)場景建模模塊用于構建動態(tài)場景的神經(jīng)表示; 所述相機時間偏移估計模塊用于為每個相機引入可學習的時間偏移參數(shù)并與場景表示聯(lián)合優(yōu)化; 所述全局和局部運動一致性監(jiān)督模塊用于計算神經(jīng)場景的三維場景流并投影為二維,與預計算的二維光流進行對比,構建時間對齊監(jiān)督信號; 所述神經(jīng)表示的表達式為: , 其中,R為動態(tài)場景重建算子,用于生成動態(tài)場景的神經(jīng)表示;動態(tài)場景重建算子R的輸入包括多相機的圖像序列和對應的相機投影矩陣集合;表示第i個相機在時間戳捕獲的圖像幀,表示的對應第i個相機的投影矩陣,M表示相機總數(shù);動態(tài)場景重建算子R的輸出為在任意時間戳t的動態(tài)場景的神經(jīng)表示; 所述相機時間偏移估計模塊用于為每個相機設置一個獨立的可學習時間偏移參數(shù),表示第i個相機的時間偏移量,該參數(shù)在訓練過程中參與反向傳播并通過損失函數(shù)與場景表示聯(lián)合優(yōu)化,用于校正多相機輸入視頻之間的時間不同步; 所述神經(jīng)表示通過與可學習時間偏移參數(shù)聯(lián)合優(yōu)化獲得,聯(lián)合優(yōu)化的表達式為: , 其中,表示在時刻優(yōu)化得到的最優(yōu)動態(tài)場景的神經(jīng)表示,表示優(yōu)化得到的最優(yōu)時間偏移參數(shù)集合;為投影算子,表示將時刻的動態(tài)場景的神經(jīng)表示通過對應的第i個相機的投影矩陣投影得到的圖像幀,為第i個相機在時間偏移后對應的圖像幀; 所述全局和局部運動一致性監(jiān)督模塊用于構建神經(jīng)場景的二維投影場景流與預計算光流之間的對齊損失項,引入流損失函數(shù),表達式為: , 其中,表示流一致性監(jiān)督損失,表示由圖像幀預計算得到的光流,表示基于動態(tài)場景的神經(jīng)表示在時間偏移后投影得到的二維投影場景流; 所述二維投影場景流和由圖像幀預計算得到的光流分別通過以下運算獲得: , , 其中,表示對時間戳t的動態(tài)場景的神經(jīng)表示應用三維場景流提取算子,表示通過預計算光流估計網(wǎng)絡對圖像幀計算得到的二維光流; 所述全局和局部運動一致性監(jiān)督模塊還用于引入二值置信度掩碼,對二維投影場景流與預計算光流之間的差異進行加權監(jiān)督,引入了二值置信掩碼的流損失函數(shù)的表達式為: , 其中,表示逐像素元素乘法,為在第i個相機視角下構建的二值置信度掩碼; 所述動態(tài)場景的神經(jīng)表示與可學習時間偏移參數(shù)的聯(lián)合優(yōu)化目標包括圖像重建損失項、光流一致性監(jiān)督項和時間偏移正則項,優(yōu)化目標的表達式為: , 其中,表示圖像重建損失,用于度量渲染圖像與真實圖像之間的像素差異;表示時間偏移參數(shù)的L1正則項,用于防止偏移過大;、分別表示流損失函數(shù)的權重超參數(shù)和時間偏移參數(shù)L1正則項的權重超參數(shù),控制各損失項對總優(yōu)化目標的影響權重。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯(lián)系本專利的申請人或專利權人南京大學,其通訊地址為:210023 江蘇省南京市棲霞區(qū)仙林大道163號南京大學;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報告根據(jù)公開、合法渠道獲得相關數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發(fā)布本報告當日的職業(yè)理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據(jù)或者憑證。