新智元報道

編輯：YHluck

【新智元導(dǎo)讀】Grok-2正式開源，登上Hugging Face，9050億參數(shù)+128k上下文有多猛？近萬億參數(shù)「巨獸」性能首曝。馬斯克再現(xiàn)「超人」速度，AI帝國正在崛起。

什么？馬斯克終于開源了Grok-2！

一大早，xAI正式官宣，向所有人開源Grok-2！

馬斯克還預(yù)告，Grok-3將在6個月后開源。

Grok-2于2024年完成訓(xùn)練，體積超500GB。其混合專家（MoE）架構(gòu)在Grok-1的基礎(chǔ)上進(jìn)行了改進(jìn)。

那Grok-2到底開源了哪些部分？開源版本的技術(shù)特點是什么？開源權(quán)限有什么？

我們?yōu)槟阋灰皇崂砹讼拢细韶洠?/p>

開源了什么？

xAI本次向所有用戶開源了Grok-2以下核心部分：

1. 模型權(quán)重

2. 模型架構(gòu)

Grok-2開源版本技術(shù)特點

這個開源的「大腦」擁有非常強(qiáng)大的技術(shù)規(guī)格：

巨大的模型規(guī)模：總參數(shù)量高達(dá)9050億（905B），在推理時，每次會激活其中的1360億（136B）參數(shù)。這使它成為目前最強(qiáng)大的開源模型之一。

超長的上下文窗口：支持高達(dá)131,072 (128k) token的上下文長度。

這意味著它可以一次性閱讀和處理非常長的文檔或?qū)υ挌v史（大約相當(dāng)于一本200多頁的書），進(jìn)行更復(fù)雜的推理和總結(jié)。

混合專家架構(gòu) (MoE)：這種架構(gòu)可以在不增加巨大計算成本的前提下，大幅擴(kuò)展模型規(guī)模，提升模型能力。

較新的訓(xùn)練數(shù)據(jù)：其預(yù)訓(xùn)練數(shù)據(jù)覆蓋了大量的文本和代碼，截止到2024年初。

Grok-2和Grok-1架構(gòu)不同點，網(wǎng)友對此做了一個總結(jié)：

開源權(quán)限是什么？

商業(yè)用途門檻：僅當(dāng)關(guān)聯(lián)公司年收入低于一百萬美元時，才可用于商業(yè)用途。超過此門檻的商業(yè)用途需獲得xAI的單獨許可。

限制：除非本協(xié)議條款允許對Grok 2進(jìn)行修改或微調(diào)，否則不得使用材料、衍生品或輸出（包括生成的數(shù)據(jù)）來訓(xùn)練、創(chuàng)建或改進(jìn)任何基礎(chǔ)、大型語言或通用人工智能模型。

目前，Grok-2現(xiàn)已正式開源，可在Hugging Face上下載。

HF地址：https://huggingface.co/xai-org/grok-2

使用方法：通過SGLang部署

下載權(quán)重文件

你可以把/local/grok-2替換成任意你喜歡的文件夾名稱。

hf download xai-org/grok-2 --local-dir /local/grok-2

下載過程中你可能會遇到一些錯誤，請多次重試直到下載成功。

如果下載成功，該文件夾下應(yīng)包含42個文件，總大小大約為500GB。

啟動服務(wù)器

安裝最新版的SGLang推理引擎（版本≥v0.5.1），地址：

https://github.com/sgl-project/sglang/

使用以下命令啟動推理服務(wù)器。這個檢查點（checkpoint）配置為 TP=8，所以需要8張GPU（每張顯存大于40GB）。

python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton

發(fā)送請求

這是一個經(jīng)過額外訓(xùn)練的模型，所以需要使用正確的對話模板。

python3 -m sglang.test.send_one --prompt "Human: What is your name?<|separator|>\n\nAssistant:"

你應(yīng)該能看到模型輸出名字——Grok。

大佬點評

網(wǎng)友XFreeze稱，xAI發(fā)展的速度極其驚人！

他透露，xAI位于孟菲斯的巨像數(shù)據(jù)中心僅用122天建成并全面投入運營，配備100,000塊英偉達(dá)H100 GPU。

「短短兩年內(nèi)，xAI憑借Grok 4的發(fā)布，以極其精簡的團(tuán)隊登頂全球最強(qiáng)人工智能之巔?！顾袊@道。

黃仁勛曾稱，這是「超人」之舉，只有馬斯克能做到！

在人工智能發(fā)展進(jìn)程上，有網(wǎng)友毫不吝嗇地贊美馬斯克和xAI：他們正以光速推動AI的進(jìn)步。

他還預(yù)告，Grok 5訓(xùn)練即將開始。

有網(wǎng)友感嘆道，92天內(nèi)將容量翻倍，這不是資本分配帶來的結(jié)果，而是一種繞過傳統(tǒng)使用一種新的運營策略帶來的。

有網(wǎng)友表示，這一切，就像在實時觀看一個科幻夢想成真——真正達(dá)到了創(chuàng)新的巔峰！

Grok 4發(fā)布會上，馬斯克曾預(yù)告了下一步路線圖——

8月將發(fā)布編碼模型，9月發(fā)布多模態(tài)智能體，10月發(fā)布視頻生成模型。

xAI模型能飛速迭代，主要背靠了強(qiáng)大的超算中心。預(yù)計5年內(nèi)，xAI將打造出5000塊H100巨無霸超算。

老馬自信滿滿地表示，「xAI很快就能干掉谷歌以外的所有對手，就連谷歌，超過它也是遲早的事」。

真是有點期待，下一個AI帝國誕生了。

參考資料：

https://x.com/jefffhj/status/1959360923929575803

https://huggingface.co/xai-org/grok-2

https://x.com/amXFreeze/status/1959158372231487627