長(zhǎng)江龍新媒體有限公司席魯江獲國(guó)家專(zhuān)利權(quán)
買(mǎi)專(zhuān)利賣(mài)專(zhuān)利找龍圖騰,真高效! 查專(zhuān)利查商標(biāo)用IPTOP,全免費(fèi)!專(zhuān)利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉長(zhǎng)江龍新媒體有限公司申請(qǐng)的專(zhuān)利一種行為驅(qū)動(dòng)的3D虛擬影像生成方法及系統(tǒng)獲國(guó)家發(fā)明授權(quán)專(zhuān)利權(quán),本發(fā)明授權(quán)專(zhuān)利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN120411311B 。
龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-02發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專(zhuān)利申請(qǐng)?zhí)?專(zhuān)利號(hào)為:202510872982.1,技術(shù)領(lǐng)域涉及:G06T13/20;該發(fā)明授權(quán)一種行為驅(qū)動(dòng)的3D虛擬影像生成方法及系統(tǒng)是由席魯江;唐陸峰;陳莉;耿恒杰;余洪;曲科籍;胡燕設(shè)計(jì)研發(fā)完成,并于2025-06-27向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專(zhuān)利申請(qǐng)。
本一種行為驅(qū)動(dòng)的3D虛擬影像生成方法及系統(tǒng)在說(shuō)明書(shū)摘要公布了:本發(fā)明涉及虛擬影像生成技術(shù)領(lǐng)域,公開(kāi)了一種行為驅(qū)動(dòng)的3D虛擬影像生成方法及系統(tǒng),包括:通過(guò)視覺(jué)傳感器,對(duì)目標(biāo)檢測(cè)進(jìn)行連續(xù)幀的圖像采集;對(duì)每一幀圖像使用基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)檢測(cè)算法,識(shí)別行為主體的二維關(guān)鍵點(diǎn)坐標(biāo);將二維關(guān)鍵點(diǎn)坐標(biāo)映射到三維的虛擬對(duì)象上,構(gòu)建三維關(guān)鍵點(diǎn)坐標(biāo);通過(guò)對(duì)二維關(guān)鍵點(diǎn)識(shí)別過(guò)程和映射過(guò)程的重演,將三維關(guān)鍵點(diǎn)坐標(biāo)賦予震動(dòng)的狀態(tài)量;根據(jù)行為主體的行為驅(qū)動(dòng),對(duì)三維的虛擬對(duì)象進(jìn)行行為模仿。在關(guān)鍵點(diǎn)映射精度、動(dòng)作連貫性、細(xì)節(jié)豐富性及整體仿真自然度等方面,均優(yōu)于現(xiàn)有技術(shù),具有較高的技術(shù)推廣價(jià)值和應(yīng)用前景。
本發(fā)明授權(quán)一種行為驅(qū)動(dòng)的3D虛擬影像生成方法及系統(tǒng)在權(quán)利要求書(shū)中公布了:1.一種行為驅(qū)動(dòng)的3D虛擬影像生成方法,其特征在于,包括: 通過(guò)視覺(jué)傳感器,對(duì)檢測(cè)目標(biāo)進(jìn)行連續(xù)幀的圖像采集;對(duì)每一幀圖像使用基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)檢測(cè)算法,識(shí)別行為主體的二維關(guān)鍵點(diǎn)坐標(biāo); 將二維關(guān)鍵點(diǎn)坐標(biāo)映射到三維的虛擬對(duì)象上,構(gòu)建三維關(guān)鍵點(diǎn)坐標(biāo);通過(guò)對(duì)二維關(guān)鍵點(diǎn)識(shí)別過(guò)程和映射過(guò)程的重演,將三維關(guān)鍵點(diǎn)坐標(biāo)賦予震動(dòng)的狀態(tài)量; 根據(jù)行為主體的行為驅(qū)動(dòng),對(duì)三維的虛擬對(duì)象進(jìn)行行為模仿;在行為驅(qū)動(dòng)的同時(shí),通過(guò)所述震動(dòng)的狀態(tài)量,對(duì)虛擬影像的模仿行為進(jìn)行適應(yīng); 所述震動(dòng)的狀態(tài)量包括,震動(dòng)的核心位置和震動(dòng)的量子態(tài)位置; 所述基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)檢測(cè)算法包括,將當(dāng)前幀圖像送入預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中,逐層提取圖像中的局部紋理特征、邊緣特征、結(jié)構(gòu)特征,得到中間特征圖;網(wǎng)絡(luò)在特征圖基礎(chǔ)上,針對(duì)每個(gè)關(guān)鍵點(diǎn),生成一個(gè)熱力圖; 在任意關(guān)鍵點(diǎn)L的熱力圖中,每個(gè)坐標(biāo)位置上的值表示每個(gè)像素點(diǎn)為關(guān)鍵點(diǎn)L的概率; 對(duì)于每個(gè)熱力圖,輸出概率值最大的坐標(biāo)位置作為關(guān)鍵點(diǎn)位置; 所述映射過(guò)程包括,將當(dāng)前幀的二維關(guān)鍵點(diǎn)集合和上一幀的三維關(guān)鍵點(diǎn)集合,作為輸入;通過(guò)訓(xùn)練好的多層感知機(jī)網(wǎng)絡(luò),輸出當(dāng)前幀的三維關(guān)鍵點(diǎn)集合; 在訓(xùn)練過(guò)程中,針對(duì)連續(xù)幀圖像中提取的關(guān)鍵點(diǎn)集合,在多層感知機(jī)網(wǎng)絡(luò)中引入可訓(xùn)練的注意力權(quán)重矩陣;所述注意力權(quán)重矩陣根據(jù)每?jī)蓚€(gè)關(guān)鍵點(diǎn)之間連線(xiàn)在前后幀之間的角度變化特征進(jìn)行訓(xùn)練,動(dòng)態(tài)調(diào)整每?jī)蓚€(gè)關(guān)鍵點(diǎn)之間的連線(xiàn),從而控制對(duì)網(wǎng)絡(luò)輸出結(jié)果的貢獻(xiàn); 所述對(duì)二維關(guān)鍵點(diǎn)識(shí)別過(guò)程和映射過(guò)程的重演包括,基于二維關(guān)鍵點(diǎn)檢測(cè)過(guò)程中生成的熱力圖信息,推測(cè)每個(gè)關(guān)鍵點(diǎn)位置的不確定性分布;遍歷所有關(guān)鍵點(diǎn),在每個(gè)關(guān)鍵點(diǎn)的所述不確定性分布中,任取一個(gè)像素位置作為組合中的元素,構(gòu)成待定的關(guān)鍵點(diǎn)組合;對(duì)所述待定的關(guān)鍵點(diǎn)組合進(jìn)行組合篩選后,對(duì)每個(gè)篩選后的關(guān)鍵點(diǎn)組合,分別執(zhí)行關(guān)鍵點(diǎn)的映射過(guò)程; 所述不確定性分布包括,對(duì)每個(gè)關(guān)鍵點(diǎn)預(yù)設(shè)n×n的坐標(biāo)位置矩陣;n為奇數(shù);將對(duì)應(yīng)關(guān)鍵點(diǎn)的熱力圖進(jìn)行網(wǎng)格化分割處理,將熱力圖區(qū)域劃分為若干單元格,每個(gè)單元格對(duì)應(yīng)一個(gè)n×n的坐標(biāo)位置矩陣; 每個(gè)單元格的特征值等于:?jiǎn)卧竦乃凶鴺?biāo)位置上,值的平均數(shù); 篩選所有特征值大于閾值K的單元格,將每個(gè)單元格的中間坐標(biāo)位置作為關(guān)鍵點(diǎn)的一種不確定性位置;使每個(gè)關(guān)鍵點(diǎn)的所有不確定位置共同組成關(guān)于每個(gè)關(guān)鍵點(diǎn)的不確定性分布; 其中,K表示每個(gè)關(guān)鍵點(diǎn)預(yù)設(shè)的判斷閾值; 所述組合篩選包括,利用貝葉斯算法對(duì)所述待定的關(guān)鍵點(diǎn)組合中,任意兩個(gè)元素進(jìn)行相對(duì)位置的分析,分析結(jié)果輸出是否合理;若所述待定的關(guān)鍵點(diǎn)組合中,存在兩個(gè)元素,經(jīng)過(guò)貝葉斯算法分析后,輸出結(jié)果為不合理,則剔除組合;若所述待定的關(guān)鍵點(diǎn)組合中,任意兩個(gè)元素,經(jīng)過(guò)貝葉斯算法分析后,輸出結(jié)果均為合理,則通過(guò)篩選; 完成對(duì)二維關(guān)鍵點(diǎn)識(shí)別過(guò)程和映射過(guò)程的重演后,得到m個(gè)三維的關(guān)鍵點(diǎn)組合;其中,任意一個(gè)三維的關(guān)鍵點(diǎn)組合中,所有關(guān)鍵點(diǎn)的三維坐標(biāo),表示所有關(guān)鍵點(diǎn)震動(dòng)的一個(gè)量子態(tài)位置;在一個(gè)關(guān)鍵點(diǎn)的量子態(tài)發(fā)生變化時(shí),其他關(guān)鍵點(diǎn)根據(jù)所述三維的關(guān)鍵點(diǎn)組合,進(jìn)行同步變化; 所述震動(dòng)的量子態(tài)位置包括,在m個(gè)三維的關(guān)鍵點(diǎn)組合中,對(duì)于同一關(guān)鍵點(diǎn)S的不同三維坐標(biāo); 所述震動(dòng)的核心位置包括,在第一次將二維關(guān)鍵點(diǎn)坐標(biāo)映射到三維的虛擬對(duì)象時(shí),每個(gè)關(guān)鍵點(diǎn)的三維坐標(biāo); 所述對(duì)虛擬影像的模仿行為進(jìn)行適應(yīng)包括,分別對(duì)震動(dòng)的核心位置和量子態(tài)位置進(jìn)行適應(yīng)性分析,輸出適應(yīng)性最小的三維關(guān)鍵點(diǎn)集合,作為當(dāng)前幀最終的三維關(guān)鍵點(diǎn)集合; 在對(duì)震動(dòng)的核心位置進(jìn)行適應(yīng)性分析時(shí),獲取第一次將二維關(guān)鍵點(diǎn)坐標(biāo)映射到三維的虛擬對(duì)象時(shí)得到的三維關(guān)鍵點(diǎn)集合,作為適應(yīng)性分析的模型輸入;在對(duì)震動(dòng)的量子態(tài)位置進(jìn)行適應(yīng)性分析后,通過(guò)對(duì)二維關(guān)鍵點(diǎn)識(shí)別過(guò)程和映射過(guò)程的重演,得到三維的關(guān)鍵點(diǎn)組合; 所述行為模仿包括,根據(jù)行為驅(qū)動(dòng)階段生成的三維虛擬對(duì)象關(guān)鍵點(diǎn)位置變化信息,進(jìn)行姿態(tài)重建,生成連續(xù)的三維骨架動(dòng)畫(huà);將三維骨架動(dòng)畫(huà)映射至虛擬對(duì)象的表面模型,控制表面網(wǎng)格頂點(diǎn)的空間運(yùn)動(dòng),實(shí)現(xiàn)形體動(dòng)作仿真。
如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專(zhuān)利技術(shù),可聯(lián)系本專(zhuān)利的申請(qǐng)人或?qū)@麢?quán)人長(zhǎng)江龍新媒體有限公司,其通訊地址為:210000 江蘇省南京市北京東路4號(hào);或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話(huà)0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開(kāi)、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- 谷歌有限責(zé)任公司雷吉納爾德·克利福德·揚(yáng)獲國(guó)家專(zhuān)利權(quán)
- 賽銳貝尓股份有限公司約瑟夫·帕維茲獲國(guó)家專(zhuān)利權(quán)
- 松下電器研究開(kāi)發(fā)(蘇州)有限公司牛向偉獲國(guó)家專(zhuān)利權(quán)
- 萬(wàn)事達(dá)卡國(guó)際股份有限公司S·C·戴維斯獲國(guó)家專(zhuān)利權(quán)
- 威斯康星州醫(yī)藥大學(xué)股份有限公司X·A·李獲國(guó)家專(zhuān)利權(quán)
- 洋馬動(dòng)力科技有限公司平松敏史獲國(guó)家專(zhuān)利權(quán)
- ZF主動(dòng)安全有限公司A·呂德?tīng)柅@國(guó)家專(zhuān)利權(quán)
- 浙江蘇泊爾家電制造有限公司陽(yáng)夢(mèng)喬獲國(guó)家專(zhuān)利權(quán)
- 旭化成株式會(huì)社內(nèi)藤一也獲國(guó)家專(zhuān)利權(quán)
- LG 電子株式會(huì)社姜智源獲國(guó)家專(zhuān)利權(quán)


熱門(mén)推薦
- 谷歌有限責(zé)任公司馬里厄斯·席爾德獲國(guó)家專(zhuān)利權(quán)
- 江蘇宇通干燥工程有限公司陸文光獲國(guó)家專(zhuān)利權(quán)
- 深圳一電航空技術(shù)有限公司張顯志獲國(guó)家專(zhuān)利權(quán)
- 伊瑪提克斯生物技術(shù)有限公司安德烈·馬爾獲國(guó)家專(zhuān)利權(quán)
- 杭州諾茂醫(yī)療科技有限公司王永勝獲國(guó)家專(zhuān)利權(quán)
- 廣州極飛科技股份有限公司溫海軍獲國(guó)家專(zhuān)利權(quán)
- 麥斯韋爾技術(shù)股份有限公司戴維·雷歇爾獲國(guó)家專(zhuān)利權(quán)
- 領(lǐng)星生物科技(上海)有限公司許強(qiáng)獲國(guó)家專(zhuān)利權(quán)
- 谷歌有限責(zé)任公司凱登·邁爾獲國(guó)家專(zhuān)利權(quán)
- 德克斯康公司R·E·斯庫(kù)恩馬克獲國(guó)家專(zhuān)利權(quán)