C114訊 11月27日專稿（蔣均牧）從機器人聊天到使能千行萬業(yè)的專業(yè)模型+Agent，AI技術(shù)的每一門分支、每一次飛躍都離不開算力的強有力支撐。
然而，隨著AI應用的日益廣泛與深入，一個更為現(xiàn)實的問題正在浮出水面——昂貴的GPU/NPU資源利用率普遍低于40%，大量算力在“空轉(zhuǎn)”中被浪費；一些中小企業(yè)與科研機構(gòu)卻因算力門檻過高，難以充分受益于AI。長此以往，無疑將極大地制約AI產(chǎn)業(yè)發(fā)展。
在這一背景下，容器技術(shù)這個發(fā)端于云計算領(lǐng)域的概念，以其輕量級、可移植、易部署等特性，正從“應用封裝工具”演進為“算力調(diào)度中樞”。就在最近，華為聯(lián)合上海交通大學、西安交通大學與廈門大學發(fā)布并開源AI容器技術(shù)Flex:ai，旨在通過技術(shù)創(chuàng)新與生態(tài)共建，破解算力資源利用難題，進而推動AI技術(shù)的普惠。
“大家以前沒有聽到一個詞，‘讓AI從此平民化’？AI平民化不是在臺式機里裝塊4090的游戲卡就作數(shù)，而是花更少的錢、讓更多人獲益，這就是我們今天所做的事情以及努力的方向。”華為副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰博士告訴C114。發(fā)布會后，他攜手數(shù)位華為技術(shù)專家出席媒體圓桌，對該公司在AI容器領(lǐng)域的前瞻視野與深遠布局作出了詳盡解讀。
AI產(chǎn)業(yè)高歌猛進下的效率困境
2025年，全球AI產(chǎn)業(yè)繼續(xù)高歌猛進，大模型參數(shù)規(guī)模從千億邁向萬億，AI在各行各業(yè)的應用也開始步入深水區(qū)，算力需求呈指數(shù)級增長。但與之形成鮮明對比的是，算力資源的利用效率始終在低位徘徊。據(jù)統(tǒng)計，超過60%的頭部互聯(lián)網(wǎng)企業(yè)GPU利用率低于40%，在私有云化部署場景中甚至不足30%。
“小任務(wù)單卡算力用不完，大任務(wù)單機算力不夠用，多任務(wù)并發(fā)時調(diào)度無解。”周躍峰的發(fā)言一針見血。他以醫(yī)療場景舉例，一家頂級三甲醫(yī)院僅能負擔16張AI加速卡，但當多名醫(yī)生同時使用AI輔助診斷時，推理任務(wù)排隊等待時間長達數(shù)十分鐘，“這不是技術(shù)不行，是資源調(diào)度機制出了問題”。
“在學校里面，GPU是非常關(guān)鍵的，大家都需要拿來做科研，發(fā)現(xiàn)資源利用率會比較低，一部分原因是卡被人占用后往往需要排隊，形成了非常大的資源浪費。”上海交通大學戚正偉教授分享說，“傳統(tǒng)虛擬化方案要么粒度粗放，要么開銷過大，無法在異構(gòu)算力環(huán)境中實現(xiàn)細粒度資源隔離。”
面對算力資源利用的挑戰(zhàn)，容器技術(shù)以其獨特的優(yōu)勢成為優(yōu)化資源配置的重要手段。然而，傳統(tǒng)容器技術(shù)在面對AI應用時，仍存在諸多不足。例如對GPU、NPU等異構(gòu)算力資源的支持不夠完善，難以實現(xiàn)算力的精細化管理；容器間的資源隔離與性能保障機制不夠健全，容易導致任務(wù)間的相互干擾；此外，容器在跨節(jié)點、跨集群的資源調(diào)度與協(xié)同方面也存在較大局限，難以滿足AI應用對算力資源的高效利用需求。
更深層的問題在于生態(tài)封閉。英偉達通過MIG技術(shù)實現(xiàn)GPU切分，但其固定粒度與硬件綁定的模式限制了靈活性；被其收購的Run:ai雖在調(diào)度層有所突破，卻未徹底開源，形成“技術(shù)黑盒”且硬件兼容性嚴重受限。
顯然，AI真正由“貴族游戲”走向“平民工具”，需要找到那塊關(guān)鍵的拼圖。
Flex:ai破局：從“資源切片”到“全局調(diào)度”
針對這一系列挑戰(zhàn)，華為此次發(fā)布并開源的Flex:ai XPU池化與調(diào)度軟件提供了破局之道。從技術(shù)架構(gòu)看，F(xiàn)lex:ai基于Kubernetes構(gòu)建，通過對GPU、NPU等智能算力資源的精細化管理與智能調(diào)度，實現(xiàn)AI工作負載與算力資源的精準匹配，從而做到算力資源的“按需取用”與“細水長流”。其核心技術(shù)突破體現(xiàn)在三個方面：
突破一、XPU池化，讓一卡變多卡：針對“小任務(wù)占大卡”的浪費現(xiàn)象，華為與上海交通大學聯(lián)合研發(fā)了XPU池化框架。該技術(shù)可將單張GPU或NPU算力卡切分為多份虛擬算力單元，服務(wù)多個AI工作負載，切分粒度精準至10%。
“我們能不能把一張卡虛擬化成多張卡，讓我們以更小的算力單元進行調(diào)度，讓每一張卡的算力能力能夠充分釋放出來。”周躍峰在演講中如此闡述設(shè)計初衷。在實際測試中，該技術(shù)使得小模型推理場景下的整體算力平均利用率提升30%，顯著提高了單卡服務(wù)能力。
相比芯片原生的MIG技術(shù)只能切固定的切片，F(xiàn)lex:ai的軟切分更加靈活，“用多少，切多少”。華為技術(shù)專家解釋說：“我們的切片技術(shù)基于軟件，可以根據(jù)需求來切分，比如說切三份，有的占40%、有的占30%、有的占20%，彈性也更好一點。”
突破二、跨節(jié)點聚合，打破“算力孤島”：針對大量通用服務(wù)器無法服務(wù)于AI工作負載的問題，華為與廈門大學聯(lián)合研發(fā)了跨節(jié)點拉遠虛擬化技術(shù)。該技術(shù)將集群內(nèi)各節(jié)點的空閑XPU算力聚合形成“共享算力池”，一方面為高算力需求的AI工作負載提供充足資源支撐；另一方面，可讓不具備智能計算能力的通用服務(wù)器通過高速網(wǎng)絡(luò)，可將AI工作負載轉(zhuǎn)發(fā)到遠端“資源池”中的GPU/NPU算力卡中執(zhí)行。
“我們的關(guān)鍵思想是把XPU上下文從CPU的進程里面分離出來，并且進行抽象的組織和靈活映射。”廈門大學張一鳴教授闡述道，通過“多對多”與“多對一”的靈活映射，該技術(shù)有效解決了外部碎片（跨節(jié)點XPU空閑）和內(nèi)部碎片（單卡算力未被充分利用）問題。
實測數(shù)據(jù)顯示，該方案相比現(xiàn)有最佳技術(shù)Sota，在作業(yè)中提升了67%的高優(yōu)作業(yè)吞吐量，并有效利用17%的內(nèi)部碎片；在大規(guī)模仿真實驗中，打破了XPU的服務(wù)范圍限制，減少了74%的外部碎片。
突破三、多級智能調(diào)度，為算力基建裝上“智慧大腦”：面對異構(gòu)算力統(tǒng)一調(diào)度的挑戰(zhàn)，華為與西安交通大學共同打造了Hi Scheduler智能調(diào)度器。該調(diào)度器可自動感知集群負載與資源狀態(tài)，結(jié)合AI工作負載的優(yōu)先級、算力需求等多維參數(shù)，對本地及遠端的虛擬化GPU、NPU資源進行全局最優(yōu)調(diào)度，實現(xiàn)AI工作負載分時復用資源。
“做了分層調(diào)度后怎么把它用好，一層一層推一直到模型的服務(wù)系統(tǒng)里去，從上到下怎樣做有效調(diào)度？我們和華為一起進行了各種嘗試。”西安交通大學張興軍教授從體系結(jié)構(gòu)角度解讀說，Hi Scheduler的創(chuàng)新之處在于，它通過控制命令緩沖區(qū)實現(xiàn)時間隔離，直接面向底層命令緩沖區(qū)進行調(diào)度與控制，有效屏蔽了API層的差異性，在可移植性與長期兼容性方面展現(xiàn)出顯著優(yōu)勢。
生態(tài)共建：推動AI平民化加快實現(xiàn)
不止于技術(shù)突破，F(xiàn)lex:ai的價值更在于其開創(chuàng)的開源模式與生態(tài)定位。在Run:ai被英偉達收購并逐步封閉的背景下，華為選擇了一條截然不同的道路——開源開放，共建生態(tài)。
“如果AI只能在擁有萬張卡的企業(yè)中運行，這個泡沫終將破滅。”周躍峰在分享中多次強調(diào)了“AI平民化”愿景，希望讓中小企業(yè)甚至家庭用戶也能以更低的成本享受到AI技術(shù)帶來的便利與高效，而要實現(xiàn)這個愿景就必須調(diào)動起“產(chǎn)學研用”各方的力量。
“AI行業(yè)化落地是一件很難的事情，光靠華為公司的軟件工程師的力量是遠遠難以完成的。”他坦言，“我們更多的是希望能夠把這些軟件開源開放之后，有很多伙伴、有很多打造解決方案的公司或者集成商，他們能夠更加靈活地使用它。”
華為先前已經(jīng)向外界開源開放了DCS AI全流程工具鏈與UCM推理記憶數(shù)據(jù)管理器，F(xiàn)lex:ai亦是沿著這一思路發(fā)展。有所不同的是，F(xiàn)lex:ai從一開始就是由華為與三家高校“共創(chuàng)”。而從更宏觀的角度，F(xiàn)lex:ai的開源開放也為國內(nèi)的AI產(chǎn)業(yè)提供了另一種選擇，降低了被卡脖子的風險。
華為技術(shù)專家亦談到，F(xiàn)lex:ai已向開源社區(qū)開源開放了智能調(diào)度和算力虛擬化模塊，將提供標準化的通用API接口，希望后續(xù)有更多的開發(fā)者一起參與進來，共同推進算法調(diào)度處理、異構(gòu)算力兼容等工作。這不僅有助于提升我國在全球AI產(chǎn)業(yè)中的競爭力，也將為全球AI產(chǎn)業(yè)的高質(zhì)量發(fā)展注入強勁動能。
Flex:ai的出現(xiàn)，標志著AI基礎(chǔ)設(shè)施從“拼規(guī)模”進入到“拼效率”的新階段。通過三大核心技術(shù)的突破，它破解了算力資源利用的難題、降低了AI應用的門檻，讓AI真正從“炫技”走向“賦能”、從“情緒價值”走向“生產(chǎn)力價值”。而隨著技術(shù)的持續(xù)演進與生態(tài)的不斷完善，F(xiàn)lex:ai這樣的容器技術(shù)，或許比任何一個萬億參數(shù)的模型都更加值得期待。
