新智元報道
編輯:艾倫 桃子
【新智元導(dǎo)讀】馬斯克宣布了一個瘋狂的計劃,將在5年內(nèi)實現(xiàn)5000萬張H100的算力,這是什么概念?這將為人類帶來怎樣的影響?ASI能否在勇敢者的孤注一擲下現(xiàn)身?
世界首富馬斯克,這次宣布決定All in AI了。
5年內(nèi)實現(xiàn)5000萬張H100的算力。
要知道,他已經(jīng)有了全世界最強的Colossus超算集群,AI算力等價于約20萬張H100。
他究竟想用這么多GPU做些什么呢?
十萬億元能創(chuàng)造出怎樣的奇跡
目前,每張H100的批發(fā)價高達2萬美元。
5000萬張H100,光是GPU,成本就將高達1萬億美元。
要搭建目前的最先進的超算集群,目前GPU成本只占約50%。
也就是說,最終的成本將超過2萬億美元(逾14萬億元人民幣)。
2萬億美元是什么概念?
美國去年的軍費總支出約9970億美元,而這已經(jīng)占到了全球軍費支出的37%。
這意味著,AI已經(jīng)成為與傳統(tǒng)的軍備競賽分庭抗禮的全新關(guān)鍵領(lǐng)域。
馬斯克的身價約4000億美元。
特斯拉的市值約1.1萬億美元。
加上SpaceX、X和xAI,馬斯克旗下的公司市值約1.6萬億美元。
一旦摩爾定律在未來5年不能在GPU上有效,成本將無法產(chǎn)生指數(shù)下降。
馬斯克是在拉上自己和全體股東的全部身家,All in AI,再造一個屬于近未來時代的特斯拉。
此外,電力供應(yīng)更是一個大問題。
這個預(yù)想中的超算集群將可能需要十幾個核電站供應(yīng)電力。
但馬斯克覺得還不夠。
他的野心是,擁有數(shù)十億張H100算力的AI超級計算集群。
規(guī)模再擴大百倍。
馬斯克的技術(shù)樂觀主義為天文數(shù)字加上了對數(shù)。
Grok已經(jīng)很強,但還遠遠不夠
馬斯克究竟想用這么多GPU做些什么呢?
不管是xAI和特斯拉訓(xùn)練模型,還是Neuralink和SpaceX在硬科技領(lǐng)域獲得突破,都需要海量的算力。
為此,馬斯克搭建了全球最強的超算集群Colossus。
最初上線,它用了10萬塊H100,僅在19天極限時間中完成了搭建。
隨后,又擴展到了20萬張GPU。
眾所周知,Grok 3就是在20萬張GPU中訓(xùn)練而來,算力是Grok 2的十倍。
Grok 2當時是在1.5萬塊GPU上訓(xùn)練。
直到上個月,最強Grok 4問世再次刷榜,讓所有人見識了超強算力下LLM的強大實力。
不僅力奪所有榜一,還在HLE測試中碾壓人類博士。
發(fā)布會上,馬斯克還曾預(yù)告,接下來幾個月的「彩蛋」。
8月發(fā)布編碼模型;9月上線多模態(tài)智能體;10月亮相視頻生成模型。
僅在訓(xùn)練下一代模型這塊,就成為了算力的「無底洞」。
再加上,xAI聊天機器人的產(chǎn)品策略,如AI女友Ani上線,一度吸引了眾多用戶。
Grok Ani立繪
若沒有強大算力支撐,xAI便無法擴展更多應(yīng)用。
有了最強的Colossus一代,還不夠。
馬斯克還要用天文數(shù)字般的算力,讓對手望而卻步。
畢竟,他曾豪言,「未來谷歌也不是自己的對手」。
Colossus二代,便承載著這樣宏大的使命,在萬眾矚目中應(yīng)運而生。
Colossus二代,正在建了
目前,Colossus 2,已經(jīng)在分批逐步落地中。
超算中心預(yù)計首批上線55萬塊GB200和GB300,全部采用液冷設(shè)計,專為AI訓(xùn)練打造。
用馬斯克的話來說,Colossus 2將成為「世界首個千兆萬級+的AI訓(xùn)練超算」。
上個月,他曾發(fā)布了關(guān)于超算中心GB200的布線,密集度可謂相當壯觀。
早在今年2月,xAI便在美國田納西州孟菲斯Tulane Road,購入了約100萬平方英尺的園區(qū),用作二期基地。
與初代(156個)類似,Colossus 2也將由特斯拉Megapack供電,這次數(shù)量增加到了208臺。
不僅如此,馬斯克還計劃從海外遷移一座發(fā)電廠,為其供電。
Colossus 2的供電會采取多元化措施:包含新建或改建變電站、儲能、外部電源遷移等。
星際之門還遙遙無期,若Colossus 2能延續(xù)初代搭建傳奇,一定再次創(chuàng)造世界紀錄!
英偉達老黃曾不止一次夸贊,馬斯克對工程系統(tǒng)的極致理解
參考資料:
https://x.com/elonmusk/status/1947704195844608094
https://x.com/elonmusk/status/1959383653256962378
https://x.com/xAIMemphis/status/1947724711968051414
https://x.com/elonmusk/status/1947701807389515912
https://x.com/teslaownersSV/status/1924684020107116709
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.