近日,中國電信研究院聯合中科院計算所、華為昇騰、沐曦等產業伙伴,依托中國電信云網融合技術中試驗證平臺,成功完成業界首個面向國產算力的跨架構大模型推理技術驗證。此次突破構建了基于Triton的異構大模型推理框架,實現“一套框架代碼、三芯透明遷移”的核心目標,將大模型算子適配周期從“周級”壓縮至“天級”,性能達到原生算子庫90%。
當前,國產芯片生態碎片化、算子開發難度高、適配周期長等問題,已成為制約國產算力規模化商用的關鍵瓶頸。為破解這一行業痛點,中國電信研究院牽頭啟動“Triton統一跨架構推理框架”技術攻關,成功突破三大核心技術:一是自研Triton跨架構編譯器與統一大模型算子庫,實現同一套算子源碼在英偉達、昇騰、沐曦三類芯片上無縫運行,從根源上解決多架構適配難題;二是創新研發vLLM-Triton運行時透明嵌入插件,采用零侵入式接入方式,完整繼承原生調度、內存管理及量化策略,保障框架兼容性與穩定性;三是打造圖算融合編譯器,通過多芯聯合優化計算圖,自動匹配最優算子實現方案與并行切分策略,將性能損耗嚴格控制在10%以內。
本次技術驗證已完成10余款主流開源模型在三類芯片上的端到端推理測試,核心指標表現優異:平均遷移時間≤3天,較傳統適配模式效率提升超80%;精度誤差<0.5%,確保模型推理可靠性;在同等延遲約束下,系統吞吐達到各芯片原生算子庫的90%以上,實現性能與適配效率的雙重優化。此外,框架內置的benchmark與Profiling工具可一鍵生成跨芯性能對比報告,為業務方提供直觀、精準的選芯決策支撐。
作為支撐本次驗證的核心平臺,中國電信云網融合技術中試驗證平臺入選國資委央企中試平臺名錄,現已對外開放20余項中試驗證服務能力,憑借其優質智算資源與靈活組網能力,構建了業界領先的異構推理試驗環境,為技術突破提供了關鍵保障,標志著國產算力生態正式從“一芯一策”的分散適配模式,邁入“統一框架”的高效協同新階段,大幅降低了國產芯片的應用門檻。
未來,中國電信將持續拓展Triton異構推理框架的適配范圍,覆蓋更多算力芯片與大模型類型,與產業伙伴攜手共建“代碼一次編寫、多芯無縫遷移”的開放生態。通過技術創新推動國產算力從“可用”向“好用”“易用”跨越,為自主可控、多元異構的算力基礎設施高質量協同發展注入強勁動力,助力我國數字經濟核心產業自主化進程。









































