買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉廈門理工學(xué)院申請(qǐng)的專利基于精度感知的頻差壓縮器及梯度壓縮方法、設(shè)備及介質(zhì)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN120258058B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-15發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202510741210.4，技術(shù)領(lǐng)域涉及：G06N3/0495；該發(fā)明授權(quán)基于精度感知的頻差壓縮器及梯度壓縮方法、設(shè)備及介質(zhì)是由林澤杭;林政;楊淼;杜俠;朱順痣設(shè)計(jì)研發(fā)完成，并于2025-06-05向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于精度感知的頻差壓縮器及梯度壓縮方法、設(shè)備及介質(zhì)在說(shuō)明書(shū)摘要公布了：本發(fā)明提供的基于精度感知的頻差壓縮器及梯度壓縮方法、設(shè)備及介質(zhì)，用于在服務(wù)器與客戶端間進(jìn)行數(shù)據(jù)壓縮與傳輸，以降低個(gè)性化聯(lián)邦學(xué)習(xí)中的通信開(kāi)銷，涉及數(shù)據(jù)壓縮技術(shù)領(lǐng)域。本發(fā)明的頻差壓縮器包括信息瓶頸稀疏化單元、頻域壓縮單元、動(dòng)態(tài)量化單元與差分編碼單元。原始梯度數(shù)據(jù)通過(guò)信息瓶頸稀疏化單元去除非關(guān)鍵梯度冗余成分生成稀疏梯度數(shù)據(jù)；通過(guò)頻域壓縮單元生成包含前N個(gè)高能量頻域系數(shù)及其位置和數(shù)量的元數(shù)據(jù)包；通過(guò)動(dòng)態(tài)量化單元將高精度浮點(diǎn)梯度數(shù)據(jù)自適應(yīng)位寬映射為低位整數(shù)表示生成動(dòng)態(tài)量化梯度數(shù)據(jù)；通過(guò)差分編碼單元傳輸差分梯度給客戶端，完成數(shù)據(jù)壓縮與傳輸。本發(fā)明解決了梯度傳輸中通信開(kāi)銷大、無(wú)法盡可能保留梯度信息的問(wèn)題。

本發(fā)明授權(quán)基于精度感知的頻差壓縮器及梯度壓縮方法、設(shè)備及介質(zhì)在權(quán)利要求書(shū)中公布了：1.一種基于精度感知的頻差壓縮器，用于在服務(wù)器與客戶端間進(jìn)行數(shù)據(jù)壓縮與傳輸，以降低個(gè)性化聯(lián)邦學(xué)習(xí)中的通信開(kāi)銷，其特征在于，包括： 信息瓶頸稀疏化單元，用于根據(jù)獲取的服務(wù)器發(fā)送的原始梯度數(shù)據(jù)，通過(guò)動(dòng)態(tài)閾值去除所述原始梯度數(shù)據(jù)中的非關(guān)鍵梯度冗余成分，并保留關(guān)鍵梯度生成稀疏梯度數(shù)據(jù)； 頻域壓縮單元，用于將所述稀疏梯度數(shù)據(jù)通過(guò)離散余弦變換轉(zhuǎn)換為頻域表示，得到頻域系數(shù)，并根據(jù)預(yù)設(shè)壓縮率僅保留前N個(gè)高能量頻域系數(shù)，生成包含前N個(gè)高能量頻域系數(shù)及其位置和數(shù)量的元數(shù)據(jù)包； 動(dòng)態(tài)量化單元，用于將所述元數(shù)據(jù)包的高精度浮點(diǎn)梯度數(shù)據(jù)自適應(yīng)位寬映射為低位整數(shù)表示，生成動(dòng)態(tài)量化梯度數(shù)據(jù)，以優(yōu)化通信數(shù)據(jù)量與信息精度的平衡； 差分編碼單元，用于根據(jù)連續(xù)訓(xùn)練輪次間梯度的時(shí)間相關(guān)性，僅保留所述動(dòng)態(tài)量化梯度數(shù)據(jù)中梯度變化部分，即差分梯度，傳輸給客戶端，完成數(shù)據(jù)壓縮與傳輸； 其中，所述動(dòng)態(tài)量化單元具體用于： 根據(jù)所述元數(shù)據(jù)包的梯度分布特性，計(jì)算梯度的統(tǒng)計(jì)量；其中，所述統(tǒng)計(jì)量包括梯度的最小值、最大值和標(biāo)準(zhǔn)差； 基于所述統(tǒng)計(jì)量，動(dòng)態(tài)確定量化位寬，用于在訓(xùn)練早期選擇高位寬保留精度，在訓(xùn)練后期降低位寬以提高壓縮率，表達(dá)式為： ； 其中，b為量化位寬；、、分別表示梯度的最大值、最小值和方差；為指數(shù)系數(shù)，用于防止除零；表示向下取整； 根據(jù)所述統(tǒng)計(jì)量與所述量化位寬計(jì)算縮放因子，以將梯度映射至整數(shù)范圍，并四舍五入生成整數(shù)形式的量化梯度，表達(dá)式為： ； ； 其中，s為縮放因子；表示所述量化梯度;表示四舍五入操作；表示梯度元素； 將所述量化梯度、所述縮放因子與零點(diǎn)信息作為動(dòng)態(tài)量化梯度數(shù)據(jù)進(jìn)行傳輸，以通過(guò)客戶端接收所述動(dòng)態(tài)量化梯度數(shù)據(jù)進(jìn)行線性變換恢復(fù)為高精度浮點(diǎn)梯度，表達(dá)式： ； 其中，為恢復(fù)的高精度浮點(diǎn)梯度； 若為有符號(hào)的梯度量化，需傳輸零點(diǎn)信息，即所述量化梯度中表示0的整數(shù)對(duì)應(yīng)的數(shù)據(jù)，以便客戶端正確解碼；若為無(wú)符號(hào)的量化且0為最小值，所述零點(diǎn)信息為梯度的最小值。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人廈門理工學(xué)院，其通訊地址為：361024 福建省廈門市集美區(qū)理工路600號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。