C114訊 1月16日消息（陳宦杰）AI時代已經(jīng)來臨。大模型等新興AI應(yīng)用需求海量的算力支撐，一座座智算中心拔地而起，規(guī)模龐大的萬卡集群逐漸投入商用。如何更好地實現(xiàn)智算中心互聯(lián)，服務(wù)AI應(yīng)用創(chuàng)新發(fā)展，業(yè)界做了大量研究工作。
1月16日，作為“2025中國光通信高質(zhì)量發(fā)展論壇”的開篇之作，“智算中心互聯(lián)：算網(wǎng)協(xié)同，構(gòu)筑智算互聯(lián)新底座”線上研討會順利召開，邀約產(chǎn)業(yè)鏈專家代表，圍繞智算中心間跨地域、跨層級、跨主體、高可靠的算力協(xié)同與調(diào)度，以及智算中心互聯(lián)關(guān)鍵技術(shù)等話題展開了深入探討。
研討會期間，鵬城實驗室云腦研究所副所長張士勛應(yīng)邀作了題為《智算中心高性能網(wǎng)絡(luò)系統(tǒng)多維度思考》的主題報告，深入分析了智算中心的計算模式與智算網(wǎng)絡(luò)的多維度特征。
并行方案解鎖大模型高效計算
歷經(jīng)數(shù)十年的發(fā)展，AI模型的參數(shù)規(guī)模持續(xù)膨脹，模型的種類逐漸收斂。當(dāng)下，智算中心已成為大模型訓(xùn)練與推理的核心舞臺，通過將單一計算任務(wù)巧妙切分，并運用數(shù)千甚至數(shù)萬個AI芯片加速執(zhí)行，智算中心有望實現(xiàn)堪比單臺計算機執(zhí)行一個任務(wù)的高效協(xié)同作業(yè)。
在攻克AI芯片間的高效協(xié)同難題，進(jìn)而推動智算中心向“DC as a Computer”演進(jìn)的征程中，如何通過并行方案賦能大模型高效計算，是一個亟待破解的關(guān)鍵課題。
目前，業(yè)界已形成多種成熟的并行方案，如張量并行、數(shù)據(jù)并行、流水線并行。張量并行將矩陣精準(zhǔn)切分，再把不同的矩陣塊分別置于不同的 GPU 上，通信頻繁且通信量較大，但為模型的高效訓(xùn)練提供了有力支撐；數(shù)據(jù)并行巧妙地將訓(xùn)練數(shù)據(jù)進(jìn)行切分，使每個GPU能夠獨立訓(xùn)練其中的一部分?jǐn)?shù)據(jù)，降低了通信量；流水線并行依據(jù)模型架構(gòu)的層次進(jìn)行切分，將不同的層分別放置于不同的GPU上，只在層的交界處進(jìn)行通信，使得通信量相對較小。不同類型的并行方案需要不同的通信策略和網(wǎng)絡(luò)架構(gòu)支持，智算中心互聯(lián)架構(gòu)的發(fā)展方向有待進(jìn)一步探索與研究。
智算網(wǎng)絡(luò)的四大特征
談及智算網(wǎng)絡(luò)的多維特征時，張士勛例舉了四大關(guān)鍵點。
其一，智算網(wǎng)絡(luò)以GPU為中心。GPU成為算力的提供者，數(shù)據(jù)存儲于其上。因此，GPU卡間通信成為主要的通信模式，通過RDMA網(wǎng)絡(luò)，可以實現(xiàn)高效的數(shù)據(jù)交換。
其二，在智算網(wǎng)絡(luò)中，GPU的通信模式比較固定。卡間的通信模式具有很高的確定性，典型集合通信模式能夠覆蓋絕大部分場景。
其三，智算網(wǎng)絡(luò)采用雙平面的組網(wǎng)方案，兼具高帶寬與低時延特性。其中，Scale-out網(wǎng)絡(luò)適用于大規(guī)模組網(wǎng)，涵蓋數(shù)萬到數(shù)十萬GPU的龐大集群，協(xié)議基于InfiniBand/RoCE，速率可達(dá)400Gbps/800Gbps；Scale-up網(wǎng)絡(luò)則是局域高帶寬網(wǎng)絡(luò)，覆蓋數(shù)個至數(shù)百GPU的小集群，協(xié)議基于NVLink/HCCS等，速率高達(dá)數(shù)Tbps級。
其四，智算網(wǎng)絡(luò)需要軟硬件協(xié)同優(yōu)化。在傳統(tǒng)的計算模式下，計算和通信依次執(zhí)行，通信環(huán)節(jié)的占比可能超過50%，這導(dǎo)致GPU長時間處于空閑狀態(tài)。經(jīng)過優(yōu)化，通信和計算實現(xiàn)了相互疊加執(zhí)行，GPU約有35%的時間用于等待通信。自2022年之后，通信和計算進(jìn)一步深度重疊，業(yè)界主流的網(wǎng)絡(luò)可以將通信占比降至7%，設(shè)備性能得以充分釋放，硬件帶寬和軟件算法相輔相成。
此外，針對業(yè)界關(guān)心的高性能芯片供應(yīng)受限的困境，張士勛表示，可以通過軟件、硬件、模型的聯(lián)合優(yōu)化，提升訓(xùn)練效果，推進(jìn)高水平科技自立自強。利用有限的硬件資源實現(xiàn)高階的AI，是一個極具探索價值的方向。 
