買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉杭州第二人生科技有限公司申請的專利基于深度學習和聲音克隆的實時交互3D數字全息艙方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120318437B 。

龍圖騰網通過國家知識產權局官網在2025-08-19發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510803896.5，技術領域涉及：G06T17/00；該發明授權基于深度學習和聲音克隆的實時交互3D數字全息艙方法是由陳宇凌;周光磊;簡麗娜;杜冉設計研發完成，并于2025-06-17向國家知識產權局提交的專利申請。

本基于深度學習和聲音克隆的實時交互3D數字全息艙方法在說明書摘要公布了：本發明公開了一種基于深度學習和聲音克隆的實時交互3D數字全息艙方法，包括如下步驟：S1、采集用戶數據并進行預處理；S2、提取面部表情和肢體動作特征向量；S3、利用改進的GE2E網絡和預設的目標語音文本生成語音合成數據；S4、基于語音合成數據生成合成語音音頻；S5、根據面部表情特征向量和肢體動作特征向量生成三維數字人動作序列；S6、將三維數字人動作序列和合成語音音頻進行時間戳對齊，構建同步輸出流；S7、對同步輸出流進行渲染，進行立體可視化輸出。本發明融合改進的GE2E網絡、深度學習與聲音克隆方法，實現三維虛擬人語音動作同步控制，具備實時性強、沉浸感高、交互自然的優點。

本發明授權基于深度學習和聲音克隆的實時交互3D數字全息艙方法在權利要求書中公布了：1.一種基于深度學習和聲音克隆的實時交互3D數字全息艙方法，其特征在于，包括如下步驟： S1、采集用戶的面部圖像、肢體動作圖像和原始語音信號，并進行預處理； S2、對預處理后的面部圖像和肢體動作圖像進行特征提取，生成面部表情特征向量和肢體動作特征向量； S3、對所述原始語音信號進行建模，利用改進的GE2E網絡生成語音音色特征向量，并對預設的目標語音文本進行編碼，生成語義特征向量，并與語音音色特征向量拼接，形成語音合成數據； 所述改進的GE2E網絡包含幀級特征編碼模塊、統計池化模塊和多分支嵌出模塊，所述幀級特征編碼模塊包括多層全連接網絡和雙向門控循環單元； S4、將所述語音合成數據輸入至語音合成模型，生成合成語音音頻； S5、將面部表情特征向量映射至三維面部肌肉控制參數向量，將肢體動作特征向量映射至三維骨骼動作控制參數向量，生成三維數字人動作序列； S6、將三維數字人動作序列和合成語音音頻進行時間戳對齊，構建語音驅動與動作控制的同步輸出流； S7、將所述同步輸出流輸入至3D數字全息艙進行渲染，實時生成與語音幀同步的三維數字人圖像幀，并通過全息艙投影裝置進行立體可視化輸出，呈現語音與動作同步聯動的虛擬人交互； 所述S4具體包括： S41、將語音合成數據輸入語音合成模型的聲學模塊； S42、對語音合成數據使用文本編碼器進行編碼，生成音素級語義向量，將音素級語義向量輸入持續時間預測器對每個音素預測幀持續時間，并對每個音素按照幀持續時間進行展開，生成音素序列； S43、引入語調節奏分量向量對幀持續時間進行幀級比例調控： ； 其中，表示調控后的幀持續時間，表示節奏調節因子，表示雙曲正切函數，表示語調節奏分量向量，表示語調節奏方向向量，表示轉置操作，表示幀持續時間； S44、對音素序列進行進一步處理，引入情緒分量向量作為控制因子，分別調控音高預測器和能量預測器，得到情緒調制后的基頻向量和能量向量： ； 其中，表示第幀情緒調制后的基頻向量，表示第幀調制后的能量向量，和分別表示音高預測器的基頻向量和能量預測器的能量向量，和表示調節比例系數，和表示權重向量，表示情緒分量向量； S45、將情緒調制后的基頻向量和能量向量以及音素序列輸入至解碼器，輸出聲學特征序列，并送入聲碼器模塊中，進行語音波形重建，得到合成語音音頻。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人杭州第二人生科技有限公司，其通訊地址為：310016 浙江省杭州市上城區錢江路509號杭港科技大廈1151室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。