合肥綜合性國家科學中心人工智能研究院(安徽省人工智能實驗室)鄭烇獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉合肥綜合性國家科學中心人工智能研究院(安徽省人工智能實驗室)申請的專利面向異構集群環境的模型流水線劃分及部署方法和系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120123103B 。
龍圖騰網通過國家知識產權局官網在2025-08-12發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510595032.9,技術領域涉及:G06F9/50;該發明授權面向異構集群環境的模型流水線劃分及部署方法和系統是由鄭烇;楊澍;楊鋒;楊堅;譚小彬;施錢寶設計研發完成,并于2025-05-09向國家知識產權局提交的專利申請。
本面向異構集群環境的模型流水線劃分及部署方法和系統在說明書摘要公布了:本發明公開了面向異構集群環境的模型流水線劃分及部署方法和系統,涉及到人工智能技術領域,包括:遍歷模型工作流,得到當前GPU上模型每一層的執行時間,據以通過算力比例來估算模型每一層在異構GPU上的執行時間;根據GPU總算力將模型切分為執行時間相等的虛擬階段塊,以算力最低的GPU為基準,在其他GPU上按算力比例分別放置虛擬階段塊,得到模型邏輯分割結果;構建GPU之間的網絡拓撲圖,利用圖搜索算法得到全部GPU設備物理映射的排序隊列,將GPU根據排序隊列中位置進行排序,并將模型邏輯分割結果映射到排序隊列的物理節點上;該模型流水線劃分及部署方法和系統提高了設備利用率,減少了流水線空閑時間。
本發明授權面向異構集群環境的模型流水線劃分及部署方法和系統在權利要求書中公布了:1.面向異構集群環境的模型流水線劃分及部署方法,其特征在于,包括: 遍歷由基本計算單元組成的模型工作流,得到當前GPU上模型每一層的執行時間,據以通過算力比例來估算模型每一層在異構GPU上的執行時間; 基于所述執行時間,根據GPU總算力將模型切分為執行時間相等的虛擬階段塊,以算力最低的GPU為基準,在其他GPU上按算力比例分別放置虛擬階段塊,得到模型邏輯分割結果; 構建GPU之間的網絡拓撲圖,利用圖搜索算法得到全部GPU設備物理映射的排序隊列,將GPU根據排序隊列中位置進行排序,并將模型邏輯分割結果映射到排序隊列的物理節點上,實現模型的流水線劃分及部署; 所述模型邏輯分割結果的構建過程: 按照最小公倍數統計模型可分割成的虛擬階段塊數,得到分區數; 當序列長度以及分區數為正整數,以及序列長度大于分區數時,將序列歸一化到區間內,其中序列指的是輸入的模型每一層的執行時間; 找出當前最大的分區和對應的索引,若最大分區的大小不超過最小分區大小+1,則得到最終分區結果; 如果最大分區的大小超過最小分區大小+1,則找出最小分區和對應的索引,根據和的相對位置,對分區邊緣進行移動,直至最大分區的大小不超過最小分區大小+1; 所得到的最終分區結果即為模型被分割的階段數。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人合肥綜合性國家科學中心人工智能研究院(安徽省人工智能實驗室),其通訊地址為:230000 安徽省合肥市高新區望江西路5089號,中國科學技術大學先進技術研究院未來中心B1205-B1208;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。