買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉陽光保險集團股份有限公司申請的專利一種語言模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114036300B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-12發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202111367500.5，技術(shù)領(lǐng)域涉及：G06F16/35；該發(fā)明授權(quán)一種語言模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)是由張晗;杜新凱;呂超;谷姍姍;孫垚鋒;李文灝設(shè)計研發(fā)完成，并于2021-11-18向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種語言模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)在說明書摘要公布了：本申請?zhí)峁┝艘环N語言模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)，包括：根據(jù)預(yù)先設(shè)定的自然語言處理任務(wù)，獲取與所述預(yù)先設(shè)定的自然語言處理任務(wù)相關(guān)的初始文本數(shù)據(jù)；獲取與所述預(yù)先設(shè)定的自然語言處理任務(wù)對應(yīng)的用于加載訓(xùn)練文本樣本的文本加載模板；按照所述文本加載模板加載初始文本數(shù)據(jù)，得到用于訓(xùn)練語言模型的訓(xùn)練文本樣本；其中，所述訓(xùn)練文本樣本中包括有標識信息訓(xùn)練文本和無標識信息訓(xùn)練文本；使用所述訓(xùn)練文本樣本對初始語言模型進行迭代更新，生成目標語言模型。本申請通過使用有標識信息訓(xùn)練文本和無標識信息訓(xùn)練文本同步進行語言模型的訓(xùn)練，從而可以提高模型精度。

本發(fā)明授權(quán)一種語言模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)在權(quán)利要求書中公布了：1.一種語言模型的訓(xùn)練方法，其特征在于，所述訓(xùn)練方法包括： 根據(jù)預(yù)先設(shè)定的自然語言處理任務(wù)，獲取與所述預(yù)先設(shè)定的自然語言處理任務(wù)相關(guān)的初始文本數(shù)據(jù)；所述初始文本數(shù)據(jù)包括有標識信息的文本數(shù)據(jù)和無標識信息的文本數(shù)據(jù)； 獲取與所述預(yù)先設(shè)定的自然語言處理任務(wù)對應(yīng)的用于加載訓(xùn)練文本樣本的文本加載模板；所述文本加載模板中包含用于加載文本的至少一個文本加載位置，和用于生成文本答案的一個文本答案位置； 按照所述文本加載模板加載初始文本數(shù)據(jù)，得到用于訓(xùn)練語言模型的訓(xùn)練文本樣本；其中，所述訓(xùn)練文本樣本中包括有標識信息訓(xùn)練文本和無標識信息訓(xùn)練文本； 使用所述訓(xùn)練文本樣本對初始語言模型進行迭代更新，生成目標語言模型； 當(dāng)待處理的自然語言處理任務(wù)為意圖識別任務(wù)時，在生成目標語言模型之后，所述訓(xùn)練方法還包括： 獲取訓(xùn)練好的意圖識別模型、意圖識別文本加載模板以及需進行意圖識別的待處理文本數(shù)據(jù)；其中，所述意圖識別文本加載模板中包括文本加載位置和文本答案位置； 將所述待處理文本數(shù)據(jù)加載至所述意圖識別文本加載模板中的文本加載位置處，確定出文本答案位置為空的待預(yù)測文本數(shù)據(jù)； 將所述待預(yù)測文本數(shù)據(jù)輸出至所述意圖識別模型中，確定所述待預(yù)測文本數(shù)據(jù)中文本答案位置的預(yù)測答案，將所述預(yù)測答案確定為所述待處理文本數(shù)據(jù)的意圖識別結(jié)果； 按照所述文本加載模板加載初始文本數(shù)據(jù)，得到用于訓(xùn)練語言模型的訓(xùn)練文本樣本，包括：針對于初始文本數(shù)據(jù)中有標識信息的文本數(shù)據(jù)，將文本數(shù)據(jù)加載至文本加載模板中的文本加載位置處，將該文本數(shù)據(jù)對應(yīng)的標識信息加載至該文本加載模板的文本答案位置處，將加載完成后的自然語言作為語言模型的訓(xùn)練樣本，該樣本為有標識信息訓(xùn)練文本；針對于初始文本數(shù)據(jù)中無標識信息的文本數(shù)據(jù)，將該文本數(shù)據(jù)直接作為模型的訓(xùn)練樣本，該訓(xùn)練樣本為無標識信息訓(xùn)練文本。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人陽光保險集團股份有限公司，其通訊地址為：518000 廣東省深圳市福田區(qū)紅荔西路7002號第一世界廣場A座17層；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。