成人深夜视频网站|日韩高清无码久久|中文a√在线天堂|亚洲黄网站在线看|欧美视频 第二页|日本 久草 天堂|高潮无遮挡黄视频|久久一级内射精品|国产操逼一级视频|五月天婷婷色AV

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

破解300倍算力增長瓶頸,華為云Tokens服務全面接入384超節(jié)點

0
分享至


智東西
作者 王涵
編輯 漠影

智東西8月27日報道,今天下午,在第四屆828 B2B企業(yè)節(jié)開幕式上,華為云宣布其Tokens服務全面接入CloudMatrix384超節(jié)點。

借助xDeepServe架構創(chuàng)新,該服務單芯片最高可實現(xiàn)2400TPS的吞吐量與50ms的TPOT(Token處理時延)。

一、中國日均Token消耗量暴增超300倍,接入超節(jié)點突破性能瓶頸

數(shù)據(jù)顯示,過去18個月中國AI算力需求呈指數(shù)級增長。2024年初中國日均Token消耗量為1000億,截至2025年6月底,這一數(shù)據(jù)已突破30萬億,1年半內(nèi)增長超300倍,這對算力基礎設施提出了更高要求。

2025年3月,華為云在傳統(tǒng)按卡時計費模式基礎上,推出基于MaaS(模型即服務)的Tokens服務,提供在線版、進線版、離線版及尊享版等多種規(guī)格,適配不同應用場景的性能與時延需求。


此次接入CloudMatrix384超節(jié)點后,依托超節(jié)點原生的xDeepServe框架,Tokens服務吞吐量從2025年初的1920TPS提升至2400TPS。

華為云認為,大算力構建需全棧創(chuàng)新,涵蓋硬件、軟件、算子、存儲、推理框架及超節(jié)點等環(huán)節(jié)。

其中,CloudMatrix384超節(jié)點通過計算架構創(chuàng)新突破性能瓶頸;CANN昇騰硬件優(yōu)化算子與通信策略;EMS彈性內(nèi)存存儲打破AI內(nèi)存限制;xDeepServe分布式推理框架則以架構提升算力效率。

二、xDeepServe架構拆解模型,優(yōu)化算力調(diào)用

作為CloudMatrix384超節(jié)點的原生服務,xDeepServe采用Transformerless極致分離架構,將MoE大模型拆解為Attention、FFN、Expert三個可獨立伸縮的微模塊,分配至不同NPU同步處理,再通過微秒級XCCL通信庫與FlowServe自研推理引擎整合,形成Tokens處理“流水線”。

經(jīng)優(yōu)化后,單卡吞吐從非超節(jié)點的600tokens/s提升至2400tokens/s。


CANN作為硬件加速計算中間層,包含算子庫、XCCL高性能通信庫等組件。其中XCCL專為超節(jié)點大語言模型服務設計,可發(fā)揮CloudMatrix384擴展后UB互聯(lián)架構的潛力,為架構分離提供帶寬與時延支持。

FlowServe分布式引擎將CloudMatrix384劃分為自治的DP小組,每個小組配備Tokenizer、執(zhí)行器、RTC緩存與網(wǎng)絡棧,可實現(xiàn)千卡并發(fā)無擁堵。

華為云透露,xDeepServe已實現(xiàn)MA分離,下一步計劃將Attention、MoE、Decode改造為數(shù)據(jù)流,并擴展至多臺超節(jié)點,以線性提升推理吞吐。

三、支持主流大模型與Agent平臺,已落地多行業(yè)場景

目前,華為云MaaS服務已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型,以及versatile、Dify、扣子等主流Agent平臺。

在模型性能優(yōu)化方面,文生圖大模型通過Int8量化、旋轉位置編碼融合算子等方式,在輕微損失畫質下,出圖速度達到業(yè)界主流平臺的2倍,最大支持2K×2K尺寸。

文生視頻大模型通過量化、通算并行等手段,降低延遲與顯存占用,性能較友商提升3.5倍。


應用層面,華為云已與超100家伙伴合作,在調(diào)研分析、內(nèi)容創(chuàng)作、智慧辦公、智能運維等領域開發(fā)AI Agent。

例如,基于MaaS平臺的今日人才數(shù)智員工解決方案,集成自然語言處理、機器學習等技術,可提升服務效率與客戶滿意度;北京方寸無憂科技開發(fā)的無憂智慧公文解決方案,能助力政企辦公智能化轉型。

結語:華為云超節(jié)點讓算力更適配AI應用需求

當前,AI技術正從模型研發(fā)向產(chǎn)業(yè)滲透加速邁進,而算力作為核心基礎設施,其性能、成本與適配能力將直接決定著產(chǎn)業(yè)智能化的推進速度。

隨著后續(xù)更多超節(jié)點擴展計劃的推進,以及更多行業(yè)場景的深度適配,這類AI基礎設施的升級,或將進一步降低企業(yè)接入AI技術的門檻,讓技術更加深度地融入生活。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
水慶霞:蘇超像歐洲的比賽和球迷的節(jié)日,比較純粹也很震撼

水慶霞:蘇超像歐洲的比賽和球迷的節(jié)日,比較純粹也很震撼

懂球帝
2025-08-31 03:11:31
騰訊首播!古裝權謀愛情劇來襲,冷艷殺手×前朝太子,雙強博弈

騰訊首播!古裝權謀愛情劇來襲,冷艷殺手×前朝太子,雙強博弈

影視快通車
2025-08-29 15:37:56
七夕節(jié)李嘉欣曬與許晉亨合影,背景像衣櫥,李嘉欣眼神迷離顯老了

七夕節(jié)李嘉欣曬與許晉亨合影,背景像衣櫥,李嘉欣眼神迷離顯老了

小娛樂悠悠
2025-08-30 06:54:30
國乒或重建,1名帥離隊,2名將退役,4人留洋,4人或淡出

國乒或重建,1名帥離隊,2名將退役,4人留洋,4人或淡出

東球弟
2025-08-30 09:01:41
19歲小伙突然癱瘓!醫(yī)生:這個常見動作害了很多人!

19歲小伙突然癱瘓!醫(yī)生:這個常見動作害了很多人!

環(huán)球網(wǎng)資訊
2025-08-25 17:36:13
昆拉武特2-0擊敗安東森,連續(xù)三屆世錦賽躋身男單決賽!

昆拉武特2-0擊敗安東森,連續(xù)三屆世錦賽躋身男單決賽!

直播吧
2025-08-31 03:44:28
85歲老太太裝中風9年,5個兒子分遺產(chǎn)時,她突然起身報了警

85歲老太太裝中風9年,5個兒子分遺產(chǎn)時,她突然起身報了警

今天說故事
2025-07-21 17:21:55
美國超級富豪向清華大學捐七億美元,直言世界的未來在中國!

美國超級富豪向清華大學捐七億美元,直言世界的未來在中國!

荊楚寰宇文樞
2025-08-25 12:42:26
省高院法官離職的女律師被留置,此前高院法官同事被查

省高院法官離職的女律師被留置,此前高院法官同事被查

禹人集法
2025-08-30 15:15:55
庫班:喬丹無法提升爛隊而詹姆斯可以 最后一投選前者&帶隊選后者

庫班:喬丹無法提升爛隊而詹姆斯可以 最后一投選前者&帶隊選后者

直播吧
2025-08-30 22:37:54
不是我故意抬高肖國棟,倘若這次公開賽奪冠,他將會改寫5個歷史

不是我故意抬高肖國棟,倘若這次公開賽奪冠,他將會改寫5個歷史

大嘴說臺球
2025-08-30 14:54:22
九三閱兵將至,德日向中方施壓,不許中方做3件事,中方8字回應

九三閱兵將至,德日向中方施壓,不許中方做3件事,中方8字回應

老稝科普君
2025-08-29 08:50:30
菲律賓海警傾巢而出,解放軍拖船首次抵達仁愛礁,動手清理破船?

菲律賓海警傾巢而出,解放軍拖船首次抵達仁愛礁,動手清理破船?

通文知史
2025-08-27 18:50:03
海港1比4慘敗因中場“缺1人”!亞泰無緣3連勝是“老油條騙點”

海港1比4慘敗因中場“缺1人”!亞泰無緣3連勝是“老油條騙點”

蘭亭墨未干
2025-08-31 04:29:09
某局長不滿足潛規(guī)則女下屬,和漂亮的假尼姑有染,結果被撤職

某局長不滿足潛規(guī)則女下屬,和漂亮的假尼姑有染,結果被撤職

喬生桂
2025-08-12 19:43:00
大佬秒變迷弟!劉強東現(xiàn)身家鄉(xiāng)球場,啤酒助興狂喜起舞

大佬秒變迷弟!劉強東現(xiàn)身家鄉(xiāng)球場,啤酒助興狂喜起舞

極目新聞
2025-08-31 04:50:56
果然不出所料,性格倔強的樸槿惠,斷然拒絕了李在明總統(tǒng)的邀請

果然不出所料,性格倔強的樸槿惠,斷然拒絕了李在明總統(tǒng)的邀請

大道無形我有型
2025-08-18 13:11:33
“捏蛋姐”身份疑被扒!娘家人:她是個扶弟魔,丈夫差點和她離婚

“捏蛋姐”身份疑被扒!娘家人:她是個扶弟魔,丈夫差點和她離婚

巷子里的歷史
2025-08-29 13:19:55
溫州一學校延遲開學

溫州一學校延遲開學

溫百君
2025-08-30 19:28:26
落毛的鳳凰不如雞!吃完黃曉明“紅利”的楊穎,又回到自己的怪圈

落毛的鳳凰不如雞!吃完黃曉明“紅利”的楊穎,又回到自己的怪圈

說歷史的老牢
2025-08-29 11:10:33
2025-08-31 06:32:49
智東西 incentive-icons
智東西
聚焦智能變革,服務產(chǎn)業(yè)升級。
10390文章數(shù) 116838關注度
往期回顧 全部

科技要聞

李斌內(nèi)部講話:蔚來四季度必須盈利

頭條要聞

媒體:日本忍不了了 最后一刻取消訪美

頭條要聞

媒體:日本忍不了了 最后一刻取消訪美

體育要聞

扛著別人的老婆,贏下那該死的冠軍

娛樂要聞

吳京風波拉出多位明星

財經(jīng)要聞

美上訴法院裁定特朗普關稅非法!

汽車要聞

全國靜態(tài)品鑒開啟 方程豹鈦7成都車展首秀

態(tài)度原創(chuàng)

教育
數(shù)碼
房產(chǎn)
本地
軍事航空

教育要聞

5w基礎,答案就不基礎。

數(shù)碼要聞

英特爾 Arc Pro B50 首個 Geekbench 跑分出爐,低于銳炫 B570

房產(chǎn)要聞

顛覆認知!??谡嬲暮勒髌?,終于出現(xiàn)了!

本地新聞

換個城市過夏天 | 夏末狂歡,浪在阜新黃家溝!

軍事要聞

美國務院批準對烏新軍售

無障礙瀏覽 進入關懷版