買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉上海階躍星辰智能科技有限公司申請的專利一種基于自回歸訓(xùn)練的語言模型優(yōu)化方法及相關(guān)設(shè)備獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120258047B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510741088.0，技術(shù)領(lǐng)域涉及：G06N3/045；該發(fā)明授權(quán)一種基于自回歸訓(xùn)練的語言模型優(yōu)化方法及相關(guān)設(shè)備是由汪自力設(shè)計(jì)研發(fā)完成，并于2025-06-05向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于自回歸訓(xùn)練的語言模型優(yōu)化方法及相關(guān)設(shè)備在說明書摘要公布了：本申請?zhí)峁┮环N基于自回歸訓(xùn)練的語言模型優(yōu)化方法及相關(guān)設(shè)備，方法包括：構(gòu)建語言模型的自回歸訓(xùn)練框架，基于輸入的歷史上下文預(yù)測后續(xù)詞的概率分布，其中每一代自回歸訓(xùn)練中的概率分布用于生成下一代的合成數(shù)據(jù)；在每一代訓(xùn)練中，按設(shè)定比例將真實(shí)數(shù)據(jù)與上一代模型生成的合成數(shù)據(jù)混合作為訓(xùn)練數(shù)據(jù)，其中，真實(shí)數(shù)據(jù)的占比根據(jù)訓(xùn)練代數(shù)增加而動(dòng)態(tài)降低；利用混合數(shù)據(jù)訓(xùn)練語言模型，更新模型參數(shù)，生成下一代訓(xùn)練所需的合成數(shù)據(jù)；在每一代訓(xùn)練后，度量當(dāng)前模型生成的數(shù)據(jù)分布與真實(shí)數(shù)據(jù)分布的差異，并根據(jù)差異動(dòng)態(tài)調(diào)整真實(shí)數(shù)據(jù)的占比；通過上述步驟持續(xù)優(yōu)化語言模型的自回歸訓(xùn)練過程。有效抑制了語言模型在多輪自回歸訓(xùn)練過程中產(chǎn)生的分布漂移問題。

本發(fā)明授權(quán)一種基于自回歸訓(xùn)練的語言模型優(yōu)化方法及相關(guān)設(shè)備在權(quán)利要求書中公布了：1.一種基于自回歸訓(xùn)練的語言模型優(yōu)化方法，其特征在于，包括： 構(gòu)建語言模型的自回歸訓(xùn)練框架，基于輸入的歷史上下文預(yù)測后續(xù)詞的概率分布，其中，每一代自回歸訓(xùn)練中的所述概率分布用于生成下一代的合成數(shù)據(jù)； 在每一代訓(xùn)練中，按設(shè)定比例將真實(shí)數(shù)據(jù)與上一代模型生成的合成數(shù)據(jù)混合作為訓(xùn)練數(shù)據(jù)，其中，所述訓(xùn)練數(shù)據(jù)中真實(shí)數(shù)據(jù)的占比根據(jù)訓(xùn)練代數(shù)增加而動(dòng)態(tài)降低； 利用混合數(shù)據(jù)訓(xùn)練語言模型，更新模型參數(shù)，生成下一代訓(xùn)練所需的合成數(shù)據(jù)，其中，限制所述合成數(shù)據(jù)的數(shù)量相對于所述真實(shí)數(shù)據(jù)的數(shù)量不超過設(shè)定的合成數(shù)據(jù)比例控制條件； 在每一代訓(xùn)練后，度量當(dāng)前模型生成的數(shù)據(jù)分布與真實(shí)數(shù)據(jù)分布的差異，并根據(jù)所述差異動(dòng)態(tài)調(diào)整所述真實(shí)數(shù)據(jù)的占比，包括： 基于當(dāng)前代模型生成的數(shù)據(jù)分布與初始真實(shí)數(shù)據(jù)分布，計(jì)算兩者之間的L1范數(shù)作為分布漂移的度量值，所述L1范數(shù)為兩者在全部類別上的概率差值絕對值之和； 將所述度量值與預(yù)設(shè)的分布偏差閾值進(jìn)行比較，所述分布偏差閾值為預(yù)設(shè)的用于判斷當(dāng)前代模型是否偏離真實(shí)語義分布的最大可容忍范圍； 若所述度量值超過所述分布偏差閾值，則在下一代訓(xùn)練數(shù)據(jù)中提高真實(shí)數(shù)據(jù)的占比，并相應(yīng)減少合成數(shù)據(jù)的比例，以降低模型分布漂移風(fēng)險(xiǎn)； 若所述度量值未超過所述分布偏差閾值，則根據(jù)預(yù)設(shè)的遞減策略調(diào)整真實(shí)數(shù)據(jù)的占比，繼續(xù)下一代訓(xùn)練； 控制當(dāng)前代模型生成的數(shù)據(jù)分布與初始真實(shí)數(shù)據(jù)分布之間分布漂移程度的策略包括： 通過設(shè)定與真實(shí)數(shù)據(jù)規(guī)模相關(guān)的常數(shù)C，以及記錄當(dāng)前自回歸訓(xùn)練的訓(xùn)練代數(shù)m，形成如下分布漂移上界約束： ； 其中，表示當(dāng)前代生成分布與初始真實(shí)分布之間的L1范數(shù)偏差； 隨著訓(xùn)練代數(shù)的增加，分布漂移的理論上限呈形式逐步收斂，確保在每一代訓(xùn)練后，當(dāng)前代模型生成的數(shù)據(jù)分布與初始真實(shí)數(shù)據(jù)分布之間的分布漂移的度量值呈遞減趨勢，從而在模型訓(xùn)練過程中形成訓(xùn)練代數(shù)與分布漂移控制之間的動(dòng)態(tài)平衡關(guān)系，確保訓(xùn)練過程中的分布漂移始終可控； 基于概率分布生成的合成數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)比例控制以及合成數(shù)據(jù)數(shù)量約束，持續(xù)優(yōu)化語言模型的自回歸訓(xùn)練過程。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人上海階躍星辰智能科技有限公司，其通訊地址為：200232 上海市徐匯區(qū)云錦路701號30層；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。