(文/觀察者網 呂棟 編輯/張廣凱)
“芯片重不重要?重要。但更重要的是,能夠提供客戶所需要的計算結果?!?月28日,在中國國際大數(shù)據(jù)產業(yè)博覽會開幕式上,華為常務董事、華為云計算CEO張平安說道。
這是華為云被傳出組織架構大調整后,張平安首次公開發(fā)聲。他表示,華為云正在堅定不移地造算力黑土地,通過昇騰AI云服務和Tokens服務滿足客戶的“最終計算結果”。
在當下,大模型發(fā)展對AI基礎設施提出了更高要求,未來十年,算力的需求可能會有數(shù)萬倍的增長。但是相比英偉達、AMD等海外廠商,國產芯片的發(fā)展受到美國層層圍堵。
在芯片工藝受限的情況下,中國如何提升算力性能和規(guī)模?張平安表示,華為可以發(fā)揮“大雜燴”的優(yōu)勢——綜合在光通信、網絡、供電等多方面的技術,以系統(tǒng)補單點,以空間換算力,以帶寬換算力,以能源換算力,通過云上算力集群,獲得規(guī)模優(yōu)勢和提升性能。
今年4月,華為云發(fā)布了CloudMatrix384超節(jié)點,將384顆昇騰NPU和192顆鯤鵬CPU,通過全新高速網絡MatrixLink全對等互聯(lián),形成一臺超級“AI服務器”,算力規(guī)模達到300 PFlops。此外,對于萬億、十萬億參數(shù)的大模型訓練任務,可以通過橫向擴展方式,將432個超節(jié)點連在一起,組成一個16萬卡的AI集群。如果這個集群用于訓練千億參數(shù)大模型,可以同時支持1300個。
在這次大會上,華為云宣布其Tokens服務接入CloudMatrix384超節(jié)點,通過xDeepServe架構創(chuàng)新,單芯片最高可實現(xiàn)2400TPS、50msTPOT的高吞吐、低時延,超過業(yè)界水平。
觀察者網從現(xiàn)場了解到,xDeepServe是以Transformerless的極致分離架構,把MoE大模型拆成可獨立伸縮的Attention、FFN、Exper三個微模塊,相當于在一臺CloudMatrix384上把“大模型”拆成“積木”,并分派到不同的NPU上同步處理任務。之后,再用基于內存語義的微秒級XCCL通信庫與FlowServe自研推理引擎,把它們重新拼成一個超高吞吐的LLM服務平臺,即Tokens的“超高速流水線”。通過xDeepServe不斷調優(yōu),最終實現(xiàn)了從非超節(jié)點單卡吞吐600tokens/s至超節(jié)點單卡吞吐2400tokens/s的提升。
“昇騰AI云服務,我們可以稱之為國產的,我們不在意它是7納米、5納米還是10納米,我們在意的是這樣的AI云服務,能夠為客戶提供算力服務,提供Token服務,來服務客戶的最終計算結果。很高興告訴大家,現(xiàn)在我們超節(jié)點的Token服務,在50ms時延下,每卡可以生產出2400個Token,這個效率是H20的三倍。除盤古外,我們還支持主流的DeepSeek、Kimi等開源大模型”張平安在大會上表示。
CloudMatrix384超節(jié)點
從大會上了解到,目前華為云正圍繞貴安、烏蘭察布、和林格爾、蕪湖三大核心樞紐,打造“全國算力一張網”,其中在貴州已部署超40套CloudMatrix384超節(jié)點。相比去年同期,華為云整體算力規(guī)模增長接近250%,昇騰AI云服務客戶從從去年的321家增長到今年1714家,重大事故為零的記錄連續(xù)保持了756天。
與此同時,華為云圍繞智能駕駛領域集中發(fā)布CloudVeo智能駕駛云服務等解決方案和成果,華為云貴安汽車專區(qū)正式上線,長安天樞智駕搭載華為云CloudMatrix 384超節(jié)點也同步亮相。
華為云透露,中國最大的智能駕駛(輔助)企業(yè)引望已經跑在昇騰上。多個項目的實際測試結果顯示,在典型感知模型、E2E、VLA模型上,CloudMatrix 384超節(jié)點可以達到或者超過H1002.5-3倍。
就在這次大會前,華為云組織架構調整引發(fā)諸多關注。市場傳言稱,華為云多個部門被裁撤整合。調整后,華為云將聚焦3+2+1業(yè)務:3包括通算、智算、存儲;2包括AI PaaS、數(shù)據(jù)庫;1則主要為安全業(yè)務。
Canalys數(shù)據(jù)顯示,今年一季度,華為云在中國大陸云服務市場中排名第二,占據(jù)18%的份額,與阿里云33%的份額仍有差距。而阿里云AI相關工作負載已連續(xù)七個季度實現(xiàn)三位數(shù)增長,成為其云業(yè)務的核心引擎。
在分析人士看來,市場主流需求已從“上云”轉向“上AI”,客戶對AI的旺盛需求正重塑云計算應用方式。華為云此次組織“陣痛”是一次必然的戰(zhàn)略抉擇,就是通過砍掉協(xié)同效應弱、資源消耗大的外圍研發(fā),將所有力量都集中到能最大化“昇騰AI+盤古”組合優(yōu)勢的核心場景上。
這次大會上,華為副總裁、中國云業(yè)務部部長陳林也談到組織架構調整一事。他表示,“原因很簡單,就是聚焦AI飽和投入。當前是人工智能應用行業(yè)落地的加速期,中國擁有千行萬業(yè)的業(yè)務場景,各行各業(yè)都在積極的擁抱AI,中國非常有機會在各行業(yè)構筑起全球領先的優(yōu)勢?!?/p>
“我們希望大模型能在昇騰云上跑的更快更好?!睆埰桨惨蔡岬剑谡羝麢C發(fā)明的時候,人們曾經嘗試著給三輪車裝上蒸汽機,這讓火車的發(fā)明推遲了四十年,因此,在AI時代來臨的時候,要積極擁抱AI原生思維,用AI原生的思維來構筑AI,圍繞AI重新構建應用、數(shù)據(jù)、流程、人員。
“今天是硅基輔助人來干活,AI是工具;未來AI可能會成為執(zhí)行任務的主體,人的任務就是管理AI,控制AI的開關。對于希望用AI構筑領先優(yōu)勢的企業(yè)來說,只有通過AI原生思維來擁抱AI,才能充分發(fā)揮AI的潛力,提高效率,創(chuàng)新業(yè)務模式,抓住智能時代機遇,實現(xiàn)智能躍遷?!彼硎尽?/p>
本文系觀察者網獨家稿件,未經授權,不得轉載。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.