買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉廈門大學(xué)申請的專利一種面向多模態(tài)深度學(xué)習(xí)模型的快速協(xié)同推斷方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN116911362B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-08發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號(hào)為：202310718827.5，技術(shù)領(lǐng)域涉及：G06N3/0495；該發(fā)明授權(quán)一種面向多模態(tài)深度學(xué)習(xí)模型的快速協(xié)同推斷方法是由肖亮;王楚璇;劉鈺;呂澤芳設(shè)計(jì)研發(fā)完成，并于2023-06-16向國家知識(shí)產(chǎn)權(quán)局提交的專利申請。

本一種面向多模態(tài)深度學(xué)習(xí)模型的快速協(xié)同推斷方法在說明書摘要公布了：一種面向多模態(tài)深度學(xué)習(xí)模型的快速協(xié)同推斷方法，涉及多模態(tài)深度學(xué)習(xí)模型。針對現(xiàn)有技術(shù)存在的面向計(jì)算密集性應(yīng)用的異構(gòu)多模態(tài)深度學(xué)習(xí)網(wǎng)絡(luò)在資源緊缺的移動(dòng)設(shè)備上部署時(shí)的高延遲和高能耗等問題，提供一種面向多模態(tài)深度學(xué)習(xí)模型的快速協(xié)同推斷方法，利用強(qiáng)化學(xué)習(xí)算法動(dòng)態(tài)優(yōu)化無線移動(dòng)邊緣網(wǎng)絡(luò)中多模態(tài)深度學(xué)習(xí)模型服務(wù)移動(dòng)設(shè)備的協(xié)同推斷策略。該策略適應(yīng)計(jì)算密集型多模態(tài)深度學(xué)習(xí)應(yīng)用具有多個(gè)異構(gòu)特征編碼器的特點(diǎn)，能在不顯著降低推斷質(zhì)量的前提下，減少基于深度學(xué)習(xí)的多模態(tài)推斷服務(wù)的時(shí)延和總體能耗。動(dòng)態(tài)選擇多模態(tài)深度學(xué)習(xí)模型各個(gè)特征編碼器的分割點(diǎn)和深度學(xué)習(xí)模型規(guī)模，提高多模態(tài)深度學(xué)習(xí)模型推斷的速度和能效。

本發(fā)明授權(quán)一種面向多模態(tài)深度學(xué)習(xí)模型的快速協(xié)同推斷方法在權(quán)利要求書中公布了：1.一種面向多模態(tài)深度學(xué)習(xí)模型的快速協(xié)同推斷方法，其特征在于包括以下步驟： 步驟1：多模態(tài)深度學(xué)習(xí)模型包含多個(gè)基于深度學(xué)習(xí)模型的模態(tài)數(shù)據(jù)的特征編碼器，以及一個(gè)融合后端；每一個(gè)模態(tài)對應(yīng)一個(gè)特征編碼器，記特征編碼器個(gè)數(shù)為M，其中M≥1，特征編碼器i的深度學(xué)習(xí)模型層數(shù)為Li，其中1≤i≤M，Li≥1，深度學(xué)習(xí)模型分割點(diǎn)為xi，其中，1≤xi≤Li；記可選的壓縮率等級(jí)記為E，其中E≥1，針對每個(gè)特征編碼器i，將其壓縮成E-1個(gè)不同級(jí)別的壓縮模型，每個(gè)模型的壓縮率為ci∈0,1，ci∈{c1,c2,...,cE-1}，用數(shù)據(jù)集訓(xùn)練所有的壓縮模型進(jìn)行微調(diào)，將壓縮及微調(diào)后模型與原始模型一同存入候選模型池νi；記每一時(shí)隙內(nèi)移動(dòng)設(shè)備生成的推斷任務(wù)數(shù)為z，其中1≤z≤zmax，zmax為設(shè)備一次最多產(chǎn)生的任務(wù)數(shù)；記預(yù)測向量且 步驟2：初始化狀態(tài)數(shù)R，動(dòng)作數(shù)W，Q值矩陣QR×W，學(xué)習(xí)因子η∈[0,1]，折扣因子γ∈[0,1]，探索因子0＜εmin＜εmax＜1，退火步數(shù)τ＞0，效益權(quán)重參數(shù)w0＞0,w1＞0,w2＞0；初始化信道增益h0、總體時(shí)延t0、總體能耗e0和長期置信度得分α0； 步驟3：在第k時(shí)隙，移動(dòng)設(shè)備根據(jù)多模態(tài)感知數(shù)據(jù)生成zk個(gè)推斷任務(wù)，并觀察上一時(shí)隙的信道增益hk-1、總體時(shí)延tk-1、總體能耗ek-1和模型長期置信度得分α，構(gòu)建當(dāng)前狀態(tài)向量sk＝[hk-1,zk,tk-1,ek-1,α]； 步驟4：在第k時(shí)隙，根據(jù)Q值矩陣，以1-ε的概率選擇當(dāng)前狀態(tài)下具有最大Q值的壓縮率和深度學(xué)習(xí)模型分割點(diǎn)以ε的概率隨機(jī)選擇其他的動(dòng)作； 步驟5：根據(jù)選擇的策略ak＝[ck,xk]，對于特征編碼器i∈[1,M]，移動(dòng)設(shè)備從候選模型池νi中選擇壓縮比例為的壓縮模型將所有推斷任務(wù)的原始數(shù)據(jù)輸入模型完成前層的計(jì)算，得到中間結(jié)果所有特征編碼器都完成推斷任務(wù)后，由移動(dòng)設(shè)備的內(nèi)部處理器計(jì)算在移動(dòng)設(shè)備端的推斷時(shí)延和推斷能耗 步驟6：將各個(gè)特征編碼器的壓縮比例分割點(diǎn)中間結(jié)果信息以傳輸功率P發(fā)送給邊緣服務(wù)器； 步驟7：邊緣服務(wù)器接收到來自移動(dòng)設(shè)備的數(shù)據(jù)后，測算傳輸時(shí)延和傳輸能耗并處理數(shù)據(jù)得到壓縮比例分割點(diǎn)中間結(jié)果對于模態(tài)i，從候選模型池νi中選取對應(yīng)壓縮比例為的模型從分割點(diǎn)后開始執(zhí)行剩余層的計(jì)算；所有特征編碼器都完成推斷任務(wù)后，將每個(gè)計(jì)算輸出的數(shù)據(jù)合并，其中1≤i≤M，作為融合后端的輸入層，計(jì)算得到最終的推斷結(jié)果ζk，再由邊緣服務(wù)器的內(nèi)部處理器計(jì)算本端總的推斷時(shí)延并使用Softmax回歸在融合后端將輸出變成一個(gè)概率分布，得到預(yù)測向量yk，利用以下公式來計(jì)算置信度ρy： 步驟8：邊緣服務(wù)器收集推斷結(jié)果ζk，計(jì)算長期置信度得分形成反饋信息發(fā)送給移動(dòng)設(shè)備； 步驟9：接收到反饋信息，移動(dòng)設(shè)備統(tǒng)計(jì)k時(shí)隙的總體時(shí)延和總體能耗計(jì)算本次推斷產(chǎn)生的效益uk： 步驟10：更新Qsk,ak： 步驟11：重復(fù)步驟3～10，直到|Qsk+1,ak+1-Qsk,ak|＜0.01，即移動(dòng)設(shè)備學(xué)習(xí)到穩(wěn)定的推斷選擇策略。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人廈門大學(xué)，其通訊地址為：361005 福建省廈門市思明區(qū)思明南路422號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。