買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉思必馳科技股份有限公司申請的專利知識蒸餾方法、電子設備和存儲介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114822518B 。

龍圖騰網通過國家知識產權局官網在2025-08-08發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210476439.6，技術領域涉及：G10L15/06；該發明授權知識蒸餾方法、電子設備和存儲介質是由錢彥旻;龔勛設計研發完成，并于2022-04-29向國家知識產權局提交的專利申請。

本知識蒸餾方法、電子設備和存儲介質在說明書摘要公布了：本發明公開知識蒸餾方法、電子設備和存儲介質，其中，一種知識蒸餾方法，包括：在兩個蒸餾級別將AR教師模型的知識轉移到NAR學生模型，其中，兩個蒸餾級別包括幀級蒸餾和序列級蒸餾，編碼器的幀級蒸餾和所述編碼器的序列級蒸餾在所述編碼器的線性層之后完成，解碼器的幀級蒸餾和所述解碼器的序列級蒸餾從基于注意力的自回歸模型發展為Mask?CTC的自回歸模型，其中，所述Mask?CTC為通過條件掩碼語言模型對CTC結果的改進。結果表明，這種知識轉移方法縮小了AR和NAR之間的差距，在更困難的評估集即AISHELL?1中的測試集，Librispeech中的test?other中，改進明顯更大。經過知識轉移和蒸餾，由于AR教師的高預測精度，與原始NAR模型相比，長度誤差問題得到了很大緩解。

本發明授權知識蒸餾方法、電子設備和存儲介質在權利要求書中公布了：1.一種自動語音識別系統訓練方法，基于自回歸AR教師模型到非自回歸NAR學生模型的知識蒸餾，所述非自回歸NAR學生模型為非自回歸自動語音識別系統，其中，所述方法包括： 在兩個蒸餾級別將AR教師模型的知識轉移到NAR學生模型，其中，兩個蒸餾級別包括幀級蒸餾和序列級蒸餾，編碼器的幀級蒸餾和所述編碼器的序列級蒸餾在所述編碼器的線性層之后完成，解碼器的幀級蒸餾和所述解碼器的序列級蒸餾從基于注意力的自回歸模型發展為Mask-CTC的自回歸模型，其中，所述Mask-CTC為通過條件掩碼語言模型對CTC結果的改進，由于使用序列級知識蒸餾序列分布逼近指數大小是無法承受的，通過波束搜索訪問N-best候選集； 其中，訓練的過程中，凍結所述自回歸AR教師模型的所有參數，所述非自回歸自動語音識別系統的人工標注的結果被特殊標記MASK隨機替換，所述條件掩碼語言模型解碼器根據觀察到的標記預測掩碼標記；在推理過程中，輸出由CTC貪婪解碼初始化，低置信度令牌根據預定義的閾值用所述特殊標記MASK代替，之后，使用easy-first算法填充掩碼：在迭代中填充所有掩碼，每次迭代預測具有最高置信度的前k個令牌，由所述條件掩碼語言模型引導，其中，所述令牌是由所述非自回歸自動語音識別系統的語音特征映射得到的令牌序列； 其中，在所述Mask-CTC上利用波束搜索方法，以擴大推理階段的搜索空間，所述波束搜索方法包括：在每次迭代期間，保留一個預設大小的波束，并且更新的令牌的數量固定，至少根據對數域后驗概率選擇候選集中前預設數量的候選。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人思必馳科技股份有限公司，其通訊地址為：215123 江蘇省蘇州市蘇州工業園區新平街388號騰飛創新園14棟；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。