買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉重慶郵電大學(xué)申請(qǐng)的專利基于聯(lián)邦學(xué)習(xí)的注意力機(jī)制聚合優(yōu)化系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN115481735B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-08發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202211310459.2，技術(shù)領(lǐng)域涉及：G06N3/098；該發(fā)明授權(quán)基于聯(lián)邦學(xué)習(xí)的注意力機(jī)制聚合優(yōu)化系統(tǒng)是由邵凱;董心語(yǔ);王光宇設(shè)計(jì)研發(fā)完成，并于2022-10-25向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于聯(lián)邦學(xué)習(xí)的注意力機(jī)制聚合優(yōu)化系統(tǒng)在說(shuō)明書(shū)摘要公布了：本發(fā)明涉及基于聯(lián)邦學(xué)習(xí)的注意力機(jī)制聚合優(yōu)化系統(tǒng)，屬于計(jì)算機(jī)領(lǐng)域。針對(duì)于聯(lián)邦學(xué)習(xí)中普遍存在的數(shù)據(jù)異構(gòu)不平衡問(wèn)題，需解決兩個(gè)關(guān)鍵難點(diǎn)1保持?jǐn)?shù)據(jù)子集分布結(jié)構(gòu)和重要的樣本信息；2解決數(shù)據(jù)子集邊界過(guò)擬合。本發(fā)明提出了一種基于注意力機(jī)制的聚合優(yōu)化算法AMAOP。為有效解決數(shù)據(jù)異構(gòu)問(wèn)題，AMAOP針對(duì)兩個(gè)難點(diǎn)分別設(shè)計(jì)了混合域注意力模塊HDAM和基于密度的分組聚類模塊DBSCAN。DBSCAN采用多維算法處理HDAM的多維權(quán)重完成分組操作，解決訓(xùn)練過(guò)程中的邊界過(guò)擬合問(wèn)題。本發(fā)明能夠有效減少數(shù)據(jù)不平衡問(wèn)題對(duì)于聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)的影響。

本發(fā)明授權(quán)基于聯(lián)邦學(xué)習(xí)的注意力機(jī)制聚合優(yōu)化系統(tǒng)在權(quán)利要求書(shū)中公布了：1.基于聯(lián)邦學(xué)習(xí)的注意力機(jī)制聚合優(yōu)化系統(tǒng)，其特征在于：由中央服務(wù)器模塊和客戶端模塊構(gòu)成； 其中中央服務(wù)器模塊包括LW-CNN、HDAM、DBSCAN三個(gè)部分； 客戶端模塊和中央服務(wù)器模塊構(gòu)成AMAOP模塊； AMAOP中：首先在客戶端模塊處輸入?yún)⑴c訓(xùn)練的k個(gè)用戶的數(shù)據(jù)模型參數(shù)，客戶端模塊通過(guò)使用客戶更新函數(shù)Clientpdatek，Wt對(duì)于模型進(jìn)行本地訓(xùn)練生成共享模型；客戶端再將訓(xùn)練好的模型上傳至中央服務(wù)器端的優(yōu)化函數(shù)ServerOptimization處進(jìn)行統(tǒng)一聚合訓(xùn)練；共享模型分別通過(guò)中央服務(wù)器端的LW-CNN、HDAM和DBSCAN模塊進(jìn)行參數(shù)的迭代更新；更新后的模型參數(shù)將會(huì)被發(fā)送回客戶端作為下一輪的初始參數(shù)參與聯(lián)邦學(xué)習(xí)的訓(xùn)練流程中； LW-CNN中：首先通過(guò)一維卷積層對(duì)于輸入的一維數(shù)據(jù)進(jìn)行卷積操作，輸入為196個(gè)卷積核，輸出為16個(gè)卷積核，并且在一維卷積層中使用的激活函數(shù)為relu函數(shù)；然后通過(guò)一維最大池化層，其中池化窗口的大小pool_size為4；然后通過(guò)卷平層實(shí)現(xiàn)將多維輸入一維化，實(shí)現(xiàn)從卷積層到全連接層的過(guò)渡，并且卷平層不會(huì)影響實(shí)驗(yàn)批處理的大小；最后通過(guò)兩層全連接層和dropout層，其中第一層全連接層使用relu作為激活函數(shù)，第二層全連接層使用softmax作為激活函數(shù)；全連接層在整個(gè)網(wǎng)絡(luò)中起到了特征提取的作用，能夠?qū)⑤斎氲奶卣鞅硎居成涞綐颖镜臉?biāo)記空間；使用兩層的全連接層，一層作為輸入層，一層作為輸出層，其中輸入層輸入1024個(gè)神經(jīng)元；在兩層全連接層中間加入一層dropout層能夠防止網(wǎng)絡(luò)過(guò)擬合，并且能夠提升模型的泛化能力； HDAM包括深度可分離卷積模塊和注意力機(jī)制模塊；其中深度可分離卷積模塊由下采樣和深度可分離卷積組成，深度可分離卷積包括逐點(diǎn)卷積和深度卷積；注意力機(jī)制模塊由通道注意力模塊、空間注意力模塊、上采樣組成；輸入的模塊先通過(guò)下采樣操作，后通過(guò)深度可分離卷積提取特征；下采樣操作是深度神經(jīng)網(wǎng)絡(luò)中常用于增加感受野并減少計(jì)算量的方法；深度可分離卷積分為逐點(diǎn)卷積和深度卷積，深度卷積用來(lái)處理長(zhǎng)寬方向的空間信息，逐點(diǎn)卷積用來(lái)處理通道方向的信息； 通道注意力模塊獲取不同通道在總體模型中所占的權(quán)重，增強(qiáng)具體特征之間的表達(dá)；首先對(duì)于輸入的模型參數(shù)特征W使用最大池化和平均池化操作提取權(quán)重，再將權(quán)重值送入共享MLP多層感知中，得到兩個(gè)不同的描述符：Wmax和Wavg；將這兩個(gè)特征值進(jìn)行特征相加后輸入到sigmoid激活函數(shù)中生成通道注意力特征Wc；最后將最初的模型參數(shù)特征W與得到的通道注意力特征Wc進(jìn)行特征相乘，得到通道注意力模塊輸出的模型參數(shù)特征W’；用公式表示如下： Wmax＝MLPMaxPoolW1 Wavg＝MLPAvgPoolW2 Wc＝Wmax+Wavg3 W′＝σWc*W4 其中Wmax表示為最大池化后進(jìn)行MLP后的特征，Wavg表示平均池化后進(jìn)行MLP后的特征，Wc表示將兩個(gè)輸出特征進(jìn)行加權(quán)后得到的特征，W表示最初輸入的模型參數(shù)特征，W’表示最終通過(guò)通道注意力模塊后輸出的模型參數(shù)特征； 空間注意力模塊用于獲取多維空間位置信息，突出模型關(guān)鍵特征的位置，增強(qiáng)模型特征的表達(dá)能力；在空間注意力模塊中，首先輸入通道注意力模塊訓(xùn)練后的模型參數(shù)特征W’，進(jìn)行最大池化和平均池化提取權(quán)重信息，得到兩個(gè)新的特征；使用3*3的深度可分離卷積將這兩個(gè)特征值進(jìn)行拼接，并使用sigmoid激活函數(shù)得到空間注意力特征；最后將最初的模型參數(shù)特征W’與得到的空間注意力特征進(jìn)行特征相乘，得到空間注意力模塊輸出的模型參數(shù)特征；用公式表示如下： W′max＝MaxPoolW′5 W′avg＝AvgPoolW′6 Ws＝f[W′max，W′avg]7 W″＝σWs*W′8 其中W′max表示為經(jīng)過(guò)最大池化后的模型參數(shù)特征，W′avg表示為經(jīng)過(guò)平均池化后的模型參數(shù)特征，f[W′max，W′avg]表示為將這兩個(gè)特征進(jìn)行深度卷積操作拼接，Ws表示為經(jīng)過(guò)激活函數(shù)后的模型參數(shù)特征，W”表示為最后通過(guò)空間注意力模塊后輸出的模型參數(shù)特征。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人重慶郵電大學(xué)，其通訊地址為：400065 重慶市南岸區(qū)黃桷埡崇文路2號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。