買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉淵慧科技有限公司申請(qǐng)的專利增強(qiáng)基于注意力的神經(jīng)網(wǎng)絡(luò)以選擇性地關(guān)注過(guò)去的輸入獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114467096B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-22發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202080067175.8，技術(shù)領(lǐng)域涉及：G06N3/0464；該發(fā)明授權(quán)增強(qiáng)基于注意力的神經(jīng)網(wǎng)絡(luò)以選擇性地關(guān)注過(guò)去的輸入是由杰克·威廉·雷;安娜·波塔片科;蒂莫西·保羅·利利克拉普設(shè)計(jì)研發(fā)完成，并于2020-09-24向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本增強(qiáng)基于注意力的神經(jīng)網(wǎng)絡(luò)以選擇性地關(guān)注過(guò)去的輸入在說(shuō)明書(shū)摘要公布了：包括在計(jì)算機(jī)存儲(chǔ)介質(zhì)上編碼的計(jì)算機(jī)程序的方法、系統(tǒng)和裝置，用于對(duì)作為序列的網(wǎng)絡(luò)輸入執(zhí)行機(jī)器學(xué)習(xí)任務(wù)以生成網(wǎng)絡(luò)輸出。在一個(gè)方面，方法中的一個(gè)包括，針對(duì)層輸入的每個(gè)特定序列：針于神經(jīng)網(wǎng)絡(luò)中的每個(gè)注意力層：維護(hù)事段記憶數(shù)據(jù)；維護(hù)壓縮記憶數(shù)據(jù)；接收要由注意力層處理的層輸入；以及對(duì)i該層的壓縮記憶數(shù)據(jù)中的壓縮表示、ii該層的事段記憶數(shù)據(jù)中的隱藏狀態(tài)，以及iii特定網(wǎng)絡(luò)輸入中的多個(gè)輸入位置中的每個(gè)輸入位置處的相應(yīng)的隱藏狀態(tài)應(yīng)用注意力機(jī)制，以生成層輸入中的每個(gè)輸入位置的相應(yīng)的激活。

本發(fā)明授權(quán)增強(qiáng)基于注意力的神經(jīng)網(wǎng)絡(luò)以選擇性地關(guān)注過(guò)去的輸入在權(quán)利要求書(shū)中公布了：1.一種用于使用神經(jīng)網(wǎng)絡(luò)處理包括網(wǎng)絡(luò)輸入的序列的輸入以生成網(wǎng)絡(luò)輸出的方法，所述網(wǎng)絡(luò)輸入的序列中的每個(gè)網(wǎng)絡(luò)輸入在多個(gè)輸入位置中的每個(gè)輸入位置處具有相應(yīng)的輸入，所述神經(jīng)網(wǎng)絡(luò)具有多個(gè)注意力層，每個(gè)注意力層各自對(duì)層輸入應(yīng)用注意力機(jī)制，所述層輸入包括在所述多個(gè)輸入位置中的每個(gè)輸入位置處的相應(yīng)的隱藏狀態(tài)，以針對(duì)每個(gè)輸入位置生成相應(yīng)的激活，其中，所述層輸入包括作為從所述輸入導(dǎo)出的整體序列的片段的輸入序列，并且其中， 每個(gè)輸入位置從一種語(yǔ)言的單詞導(dǎo)出，并且所述網(wǎng)絡(luò)輸出包括提供單詞到另一種語(yǔ)言的翻譯的輸出序列，以執(zhí)行神經(jīng)機(jī)器翻譯任務(wù)，或者 所述輸入包括用于執(zhí)行音頻處理任務(wù)的音頻數(shù)據(jù)，并且所述網(wǎng)絡(luò)輸出提供所述音頻處理任務(wù)的結(jié)果，以識(shí)別音頻中的單詞或短語(yǔ)、或?qū)⑺鲆纛l轉(zhuǎn)換為文本、或識(shí)別說(shuō)出口頭話語(yǔ)的自然語(yǔ)言，或者 所述輸入是自然語(yǔ)言的文本或自然語(yǔ)言中的文本特征，并且所述網(wǎng)絡(luò)輸出定義頻譜圖、或包括定義以所述自然語(yǔ)言說(shuō)出的所述文本的音頻的其他數(shù)據(jù)，以執(zhí)行文本到語(yǔ)音任務(wù)，或者 所述輸入是條件輸入，并且所述網(wǎng)絡(luò)輸出是圖像的像素的強(qiáng)度值序列，以執(zhí)行圖像生成，或者 所述輸入是觀察的序列或表征環(huán)境狀態(tài)的其他數(shù)據(jù)，并且所述網(wǎng)絡(luò)輸出定義機(jī)械智能體響應(yīng)于所述序列中的最近數(shù)據(jù)而要執(zhí)行的動(dòng)作，以執(zhí)行智能體控制任務(wù)， 所述方法包括，針對(duì)所述序列中的每個(gè)特定網(wǎng)絡(luò)輸入： 針對(duì)所述神經(jīng)網(wǎng)絡(luò)中的每個(gè)注意力層： 維護(hù)對(duì)應(yīng)的事段記憶數(shù)據(jù)，所述對(duì)應(yīng)的事段記憶數(shù)據(jù)包括由所述注意力層針對(duì)所述序列中的所述特定網(wǎng)絡(luò)輸入之前的第一部分先前網(wǎng)絡(luò)輸入進(jìn)行了處理的相應(yīng)的隱藏狀態(tài)； 維護(hù)對(duì)應(yīng)的壓縮記憶數(shù)據(jù)，所述對(duì)應(yīng)的壓縮記憶數(shù)據(jù)包括由所述注意力層針對(duì)所述序列中的所述第一部分先前網(wǎng)絡(luò)輸入之前的第二部分先前網(wǎng)絡(luò)輸入進(jìn)行了處理的相應(yīng)的隱藏狀態(tài)的壓縮表示； 在使用所述神經(jīng)網(wǎng)絡(luò)處理所述特定網(wǎng)絡(luò)輸入期間，接收要由所述注意力層處理的層輸入；以及 對(duì)i用于所述層的所述壓縮記憶數(shù)據(jù)中的所述壓縮表示、ii用于所述層的所述事段記憶數(shù)據(jù)中的所述隱藏狀態(tài)、以及iii所述特定網(wǎng)絡(luò)輸入中的所述多個(gè)輸入位置中的每個(gè)輸入位置處的相應(yīng)的隱藏狀態(tài)應(yīng)用注意力機(jī)制，以生成針對(duì)所述層輸入中的每個(gè)輸入位置的相應(yīng)的激活。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人淵慧科技有限公司，其通訊地址為：英國(guó)倫敦；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。