買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉杭州電子科技大學(xué)申請(qǐng)的專利一種基于自監(jiān)督學(xué)習(xí)的命名實(shí)體識(shí)別方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114239584B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-15發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202111539122.4，技術(shù)領(lǐng)域涉及：G06F40/295；該發(fā)明授權(quán)一種基于自監(jiān)督學(xué)習(xí)的命名實(shí)體識(shí)別方法是由周仁杰;胡強(qiáng);萬健;張紀(jì)林;殷昱煜;蔣從鋒設(shè)計(jì)研發(fā)完成，并于2021-12-15向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于自監(jiān)督學(xué)習(xí)的命名實(shí)體識(shí)別方法在說明書摘要公布了：本發(fā)明公開了一種基于自監(jiān)督學(xué)習(xí)的命名實(shí)體識(shí)別方法，該方法包括：對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，并利用處理好的數(shù)據(jù)集構(gòu)建正例句子對(duì)和負(fù)例句子對(duì)，利用embedding編碼器分別對(duì)正例句子對(duì)和負(fù)例句子對(duì)中的句子進(jìn)行編碼；在基于自監(jiān)督學(xué)習(xí)的命名實(shí)體識(shí)別模型中根據(jù)不同的實(shí)體特征以及相似度矩陣學(xué)習(xí)到實(shí)體在不同語境中的不同釋義，充分根據(jù)正例句子對(duì)以及負(fù)例句子對(duì)的相似度學(xué)習(xí)其特征向量，滿足不同語料庫的語種上的差異。本發(fā)明提高了命名實(shí)體識(shí)別的準(zhǔn)確率，并通過知識(shí)圖譜解決輸出結(jié)果中因單詞縮寫引起的實(shí)體類型識(shí)別錯(cuò)誤的問題，從而可以更準(zhǔn)確地預(yù)測(cè)實(shí)體以及實(shí)體類型，使得具有多義性單詞的詞嵌入向量能更好的表示該詞在當(dāng)前語境中的釋義。

本發(fā)明授權(quán)一種基于自監(jiān)督學(xué)習(xí)的命名實(shí)體識(shí)別方法在權(quán)利要求書中公布了：1.一種基于自監(jiān)督學(xué)習(xí)的命名實(shí)體識(shí)別方法，其特征在于該方法包括以下步驟： 步驟1：對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理； 1-1將數(shù)據(jù)集中已標(biāo)注好實(shí)體類型的單詞連詞成句； 1-2將步驟1-1的句子si采用任意語種翻譯成句子ai，然后再將句子ai用與si相同語種翻譯成正例句子 步驟2：將步驟1中處理后的句子構(gòu)建正負(fù)例句子對(duì)集合，其中正例句子對(duì)集合為集合組成，負(fù)例句子對(duì)集合為集合組成，負(fù)例句子對(duì)由原始句子和語料庫中其余句子翻譯后的句子組成； 步驟3：使用embedding編碼器分別對(duì)正例句子對(duì)和負(fù)例句子對(duì)中的句子進(jìn)行embedding編碼； 步驟4：將embedding編碼后的詞嵌入向量輸入至深度神經(jīng)網(wǎng)絡(luò)層DNN； 步驟5：將步驟4中得到的正例句子對(duì)的輸出向量和負(fù)例句子對(duì)的輸出向量做相似度計(jì)算，并將計(jì)算結(jié)果按照行拼接為一個(gè)全新的相似度矩陣Msim；并利用對(duì)比損失函數(shù)l通過反向傳播，梯度下降算法優(yōu)化步驟3中embedding編碼器fk中的參數(shù)；具體操作如下： 5-1將DNN的輸出向量通過相似度函數(shù)sim·做相似度計(jì)算，得到相似句子的正例相似度不相似句子的負(fù)例相似度然后將r+以及r-按照行聚合，聚合得到相似度矩陣Msim： 5-2使用如下對(duì)比損失函數(shù)l衡量正負(fù)例句子對(duì)在向量表示空間的相似度： 其中τ為超參數(shù)，exp·表示以自然常數(shù)e為底的指數(shù)函數(shù)，sum·函數(shù)代表矩陣元素按行相加； 5-3利用對(duì)比損失函數(shù)l通過反向傳播，梯度下降算法優(yōu)化embedding編碼器fk中的參數(shù)； 步驟6：獲取已標(biāo)注實(shí)體類型的單詞所構(gòu)成的句子，構(gòu)建數(shù)據(jù)集，然后進(jìn)一步將其分為訓(xùn)練集和測(cè)試集； 步驟7：搭建基于自監(jiān)督學(xué)習(xí)的命名實(shí)體識(shí)別模型，其包括依次級(jí)聯(lián)的主網(wǎng)絡(luò)、修正模塊；然后利用訓(xùn)練集對(duì)主網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再利用測(cè)試集對(duì)訓(xùn)練好的主網(wǎng)絡(luò)進(jìn)行測(cè)試，最后利用修正模塊對(duì)測(cè)試后主網(wǎng)絡(luò)輸出結(jié)果進(jìn)行修正； 所述主網(wǎng)絡(luò)包括步驟5優(yōu)化后embedding編碼器fk、雙向LSTM層、CRF層； 所述修正模塊包括詞組檢索模塊、實(shí)體類型修改模塊；其中詞組檢索模塊，用于獲取主網(wǎng)絡(luò)輸入項(xiàng)的潛在實(shí)體集，并篩選出存在于公開知識(shí)圖譜的潛在實(shí)體，然后將該潛在實(shí)體以及實(shí)體類型構(gòu)建成潛在實(shí)體集PE；所述潛在實(shí)體包括各單詞、由多個(gè)單詞構(gòu)成的詞組；所述實(shí)體類型修改模塊，用于接收詞組檢索模塊輸出的潛在實(shí)體集PE，以及主網(wǎng)絡(luò)輸出的實(shí)體類型標(biāo)簽，然后將主網(wǎng)絡(luò)輸出的實(shí)體類型與潛在實(shí)體集PE中主網(wǎng)絡(luò)輸入項(xiàng)中各潛在實(shí)體對(duì)應(yīng)的實(shí)體類型進(jìn)行比對(duì)，若一致則無需修改，若不一致則修正主網(wǎng)絡(luò)的輸出結(jié)果； 步驟8：利用測(cè)試好的基于自監(jiān)督學(xué)習(xí)的命名實(shí)體識(shí)別模型實(shí)現(xiàn)文本的命名實(shí)體識(shí)別。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人杭州電子科技大學(xué)，其通訊地址為：310018 浙江省杭州市下沙高教園區(qū)2號(hào)大街；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。