買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉蘇州元腦智能科技有限公司申請(qǐng)的專利模型推理加速方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)及產(chǎn)品獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN120258152B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-12發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202510724702.2，技術(shù)領(lǐng)域涉及：G06N5/04；該發(fā)明授權(quán)模型推理加速方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)及產(chǎn)品是由黃偉;朱克峰;王彥偉;李仁剛設(shè)計(jì)研發(fā)完成，并于2025-05-30向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本模型推理加速方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)及產(chǎn)品在說(shuō)明書摘要公布了：本申請(qǐng)公開(kāi)了一種模型推理加速方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)及產(chǎn)品，涉及人工智能技術(shù)領(lǐng)域，包括獲取第一計(jì)算模塊中序列化模型的中間變量，中間變量包括鍵值副本、中間層潛在特征和深層輸出特征中至少一項(xiàng)，中間層潛在特征為第一計(jì)算模塊和第二計(jì)算模塊中相似度不低于預(yù)設(shè)相似閾值的特征，中間層潛在特征是由第一計(jì)算模塊中淺層計(jì)算塊確定的，深層輸出特征是由第一計(jì)算模塊中深層計(jì)算塊確定的；確定相似度不低于預(yù)設(shè)相似閾值的特征為第二計(jì)算模塊中深層計(jì)算塊的輸入，以使第二計(jì)算模塊得到序列化模型的預(yù)測(cè)結(jié)果，解決了相關(guān)方案中緩存快速膨脹，導(dǎo)致模型推理速度慢的技術(shù)問(wèn)題，達(dá)到了減少冗余計(jì)算，進(jìn)而加快模型推理的速度的技術(shù)效果。

本發(fā)明授權(quán)模型推理加速方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)及產(chǎn)品在權(quán)利要求書中公布了：1.一種模型推理加速方法，其特征在于，包括： 獲取第一計(jì)算模塊中序列化模型的中間變量，所述中間變量包括鍵值副本、中間層潛在特征和深層輸出特征中至少一項(xiàng)，所述中間層潛在特征為所述第一計(jì)算模塊和第二計(jì)算模塊中相似度不低于預(yù)設(shè)相似閾值的特征，所述相似度不低于預(yù)設(shè)相似閾值的特征用于確定可以在不同計(jì)算模塊之間復(fù)用的特征，所述中間層潛在特征是由所述第一計(jì)算模塊中淺層計(jì)算塊確定的，所述深層輸出特征是由所述第一計(jì)算模塊中深層計(jì)算塊確定的； 確定所述相似度不低于預(yù)設(shè)相似閾值的特征為所述第二計(jì)算模塊中深層計(jì)算塊的輸入，以使所述第二計(jì)算模塊得到所述序列化模型的預(yù)測(cè)結(jié)果； 獲取所述第二計(jì)算模塊中序列化模型的高頻占比； 響應(yīng)于所述序列化模型的高頻占比不低于預(yù)設(shè)高頻占比，確定所述序列化模型中目標(biāo)時(shí)間步，所述目標(biāo)時(shí)間步用于區(qū)分中間層潛在特征復(fù)用的時(shí)間步和全量計(jì)算的時(shí)間步，所述全量計(jì)算包括所述第二計(jì)算模塊中的淺層計(jì)算塊計(jì)算和深層計(jì)算塊計(jì)算。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人蘇州元腦智能科技有限公司，其通訊地址為：215103 江蘇省蘇州市吳中經(jīng)濟(jì)開(kāi)發(fā)區(qū)綜保區(qū)經(jīng)一路1號(hào)8幢；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。