買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉上海壁仞科技股份有限公司申請的專利注意力機制計算的優化方法、設備、存儲介質及程序產品獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120087414B 。

龍圖騰網通過國家知識產權局官網在2025-08-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510576855.7，技術領域涉及：G06N3/045；該發明授權注意力機制計算的優化方法、設備、存儲介質及程序產品是由請求不公布姓名設計研發完成，并于2025-04-30向國家知識產權局提交的專利申請。

本注意力機制計算的優化方法、設備、存儲介質及程序產品在說明書摘要公布了：本申請實施例提供了一種注意力機制計算的優化方法、設備、存儲介質及程序產品，涉及人工智能技術領域，該方法包括：基于查詢分塊和鍵分塊執行前向重計算算子獲得前向歸一化結果。基于輸出梯度分塊和前向歸一化結果執行第一矩陣乘算子獲得值中間結果，同時并行基于前向輸出分塊和輸出梯度分塊執行點乘求和算子，獲得中間張量。對值中間結果執行第一類型變換算子，獲得值梯度分塊；同時并行基于輸出梯度分塊、值分塊、中間張量和前向歸一化結果執行梯度反向傳播算子，獲得反向歸一化結果。最后基于反向歸一化結果、鍵分塊和查詢分塊，獲得查詢梯度分塊和鍵梯度分塊，實現對不同算子做有效的流水線處理，從而提升注意力機制計算的整體性能。

本發明授權注意力機制計算的優化方法、設備、存儲介質及程序產品在權利要求書中公布了：1.一種注意力機制計算的優化方法，其特征在于，包括： 基于查詢分塊和鍵分塊執行前向重計算算子，獲得前向歸一化結果； 基于輸出梯度分塊和所述前向歸一化結果執行第一矩陣乘算子，獲得值中間結果；對所述值中間結果執行第一類型變換算子，獲得值梯度分塊； 基于前向輸出分塊和所述輸出梯度分塊執行點乘求和算子，獲得中間張量；所述點乘求和算子與所述第一矩陣乘算子是并行執行的； 基于所述輸出梯度分塊、值分塊、所述中間張量和所述前向歸一化結果執行梯度反向傳播算子，獲得反向歸一化結果，所述梯度反向傳播算子和所述第一類型變換算子是并行執行的； 基于所述反向歸一化結果和所述鍵分塊，獲得查詢梯度分塊；以及，基于所述反向歸一化結果和所述查詢分塊，獲得鍵梯度分塊； 所述前向重計算算子包括：第二矩陣乘算子和歸一化算子；所述基于查詢分塊和鍵分塊執行前向重計算算子，獲得前向歸一化結果，包括： 將所述查詢分塊劃分為多個第一子分塊；以及，將所述鍵分塊劃分為多個第二子分塊，其中，每個第一子分塊對應一個第二子分塊； 針對每個第一子分塊以及對應的第二子分塊，分別執行：通過張量核基于一個第一子分塊和對應的第二子分塊執行第二矩陣乘算子，獲得子矩陣乘結果；將所述子矩陣乘結果保存在寄存器中；通過矢量核從所述寄存器中讀取所述子矩陣乘結果執行所述歸一化算子，獲得子歸一化結果的過程中，所述張量核并行基于下一個子分塊執行所述第二矩陣乘算子； 基于獲得的多個子歸一化結果，生成所述前向歸一化結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人上海壁仞科技股份有限公司，其通訊地址為：201114 上海市閔行區陳行公路2388號16幢13層1302室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。