買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉中山大學;廣州智慧城市發展研究院申請的專利基于改進Transformer模型的語音識別方法及裝置獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115831105B 。

龍圖騰網通過國家知識產權局官網在2025-08-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211375977.2，技術領域涉及：G10L15/16；該發明授權基于改進Transformer模型的語音識別方法及裝置是由胡建國;唐佳浩;盧星宇;丁顏玉;段志奎;秦軍瑞設計研發完成，并于2022-11-04向國家知識產權局提交的專利申請。

本基于改進Transformer模型的語音識別方法及裝置在說明書摘要公布了：本發明涉及基于改進Transformer模型的語音識別方法，通過改進的Transformer模型進行語音識別，改進的方式為特征融合的方式為利用拼接函數和卷積神經網絡融合解碼器的高低層特征，并提取局部特征信息，將卷積神經網絡提取的局部細節特征與Transformer的全局特征相融合，使得模型提取的特征更具有健壯性。同時為解碼器的每一層構建一條短距離的反向傳播路徑，緩解模型底層的梯度消失問題；以及位置編碼增強，將Transformer模型的語音特征嵌入向量和位置編碼進行拆解，可以解決因為兩者間的弱關聯而引起噪聲的問題，之后在Transformer模型每個編碼器層的自注意力子層中都加入位置編碼信息，解決因網絡多次疊加而造成位置編碼信息減弱的問題。

本發明授權基于改進Transformer模型的語音識別方法及裝置在權利要求書中公布了：1.基于改進Transformer模型的語音識別方法，其特征在于，包括以下： 獲取待識別的語音數據； 對所述語音數據進行預處理得到預處理后的語音數據； 通過改進的Transformer模型對所述語音數據進行語音識別得到語音識別結果； 輸出所述語音識別結果； 改進的Transformer模型與傳統的Transformer模型的不同之處在于， 特征融合的方式為利用拼接函數和卷積神經網絡融合解碼器的高低層特征，并提取局部特征信息，將卷積神經網絡提取的局部細節特征與Transformer的全局特征相融合；以及位置編碼增強，將Transformer模型的語音特征嵌入向量和位置編碼進行拆解，之后在Transformer模型每個編碼器層的自注意力子層中都加入位置編碼信息； 利用拼接函數和卷積神經網絡融合解碼器的高低層特征，并提取局部特征信息，將卷積神經網絡提取的局部細節特征與Transformer的全局特征相融合，包括： 首先將除最高層外的所有層特征拼接起來以便更好地融合，然后使用卷積神經網絡來壓縮提取拼接后的特征，以保證融合特征后的輸出與每個解碼層的特征有相同的維度，其公式表現形式如下， 其中，SFF為算法定義名稱，是解碼器中的輸出，表示批量batchsize大小，表示單個嵌入量，是拼接操作，，也就是說，拼接操作在第一維度上拼接了輸入矩陣，是一個壓縮函數，SFF算法使用卷積神經網絡實現壓縮，它使得SFF重新回到，由于來自每個解碼器的特征都是的維度，如果維度不相同，提取后的融合特征將不能疊加在原來的解碼器頂層，如此一來，最頂層的輸出特征便可以與SFF提取的特征進行疊加運算。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中山大學;廣州智慧城市發展研究院，其通訊地址為：510000 廣東省廣州市新港西路135號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。