新智元報道

編輯：元宇

【新智元導(dǎo)讀】大模型越來越大，開發(fā)者的「算力焦慮」也越來越嚴(yán)重。谷歌的Gemma卻另辟蹊徑：模型不求大，夠用才是王道。Gemma 3系列，尤其是新成員Gemma 3 270M正是這一理念的最佳詮釋者。它雖然「身板小」，卻能承擔(dān)各種AI實戰(zhàn)任務(wù)，還能「組團(tuán)」一起干大事。

大塊頭不等于大智慧。

這在生成式AI領(lǐng)域，已逐漸成為共識。

Gemma 3系列的成功就是一個很好的例證。

在過去幾個月，是Gemma 3系列開源模型的高光時刻。

先是Gemma 3和Gemma 3 QAT，在云端和本地桌面加速器上，均跑出了SOTA級別的表現(xiàn)。

緊接著，主打「移動優(yōu)先」的Gemma 3n完整版，將強(qiáng)大、實時的多模態(tài)生成式AI直接帶入邊緣設(shè)備。

上周，Gemma系列模型的總下載量突破了2億大關(guān)，Gemmaverse社區(qū)的熱度空前高漲。

Google又乘勢推出了Gemma 3 270M。

看名字中的「M」就知道，它的目標(biāo)不是「通吃一切」，而是要以更低成本、更高效率、更快速度地完成你交給它的活。

小身板，真能打

Gemma 3 270M是Gemma 3系列中參數(shù)規(guī)模最小的。

別看它個頭小，能量卻不可小覷。

在IFEval基準(zhǔn)測試上，Gemma 3 270M樹立了性能新標(biāo)桿。

它的IFEval分?jǐn)?shù)接近50%，顯著高于一些相同尺寸甚至更大尺寸的模型。

在小模型陣營里，它是唯一接近50%水平的，意味著它在指令跟隨任務(wù)中表現(xiàn)非常突出。

再加上其出色的文本結(jié)構(gòu)化能力，讓它更適用于面向特定任務(wù)的微調(diào)，從而在端側(cè)部署和科研應(yīng)用方面均展現(xiàn)出獨(dú)特優(yōu)勢。

在效率上，Gemma 3 270M在中小模型中表現(xiàn)最優(yōu)，甚至超越了更大規(guī)模的Qwen 2.5 0.5B和SmolLM2-360M；但與1B級別的模型相比，仍有20~25個百分點(diǎn)的IFEval差距：這是極致壓縮帶來的不可避免損失。

綜合來看，Gemma 3 270M重要的性能亮點(diǎn)有：

小體積，強(qiáng)架構(gòu)：模型中的1.7億參數(shù)用在詞嵌入層，支持256k超大詞表，能識別冷門Token，適合細(xì)分行業(yè)和語言環(huán)境下微調(diào)使用。剩下1億參數(shù)，則用于Transformer塊；

省電狂魔：Google在Pixel 9 Pro上實測，INT4量化版本進(jìn)行25輪對話只耗0.75%電量，是迄今最節(jié)能的Gemma模型；

跟指令超聽話：除了預(yù)訓(xùn)練版本外，Google還放出了指令微調(diào)模型，開箱即用，能直接處理常規(guī)的指令類任務(wù)；

量產(chǎn)級QAT支持，部署無憂：模型提供了量化感知訓(xùn)練（QAT）版本，可在INT4精度下運(yùn)行，性能幾乎無損，特別適合資源受限設(shè)備的部署需求。

用對AI，才能事半功倍

「掛一幅畫，你會用鐵錘嗎？」

這句話提醒我們：用對AI才能事半功倍。

不是每個AI項目，都需要動用幾十億參數(shù)的大模型（大錘），更多情況下，像Gemma 3 270M這樣的小模型，反而是你需要的那把「AI扳手」。

Gemma 3 270M推出，正是延續(xù)了該系列模型「用對工具」的理念。

它是一款「開箱即戰(zhàn)」的高性能基礎(chǔ)模型，正如上文在它的性能亮點(diǎn)中提到的，出色的指令跟隨能力，經(jīng)過簡單微調(diào)后，便可以在文本分類、數(shù)據(jù)抽取等任務(wù)中游刃有余。

此外，它還能直接部署在手機(jī)，或者樹莓派這樣的單片機(jī)電腦上。

有了這樣一個小而強(qiáng)、易部署的模型作為起點(diǎn)，開發(fā)者可以打造輕量、快速且極具成本優(yōu)勢的生產(chǎn)系統(tǒng)。

Plaito AI的CTO Greg Mars對Gemma 3 270M頗為贊賞，認(rèn)為它可以在自己的M4 Pro上極其快速、高質(zhì)量的運(yùn)行。

LLM研究工程師Sebastian Raschka，還貼出了Gemma 3 270M和Qwen3 0.6B的并排比較。

他認(rèn)為最大的驚喜是Gemma 3 270M只有4個注意力頭。

和Qwen3 0.6B的16個注意力頭相比，Gemma 3 270M只有4個注意力頭，這意味著后者在推理時key/value復(fù)用率高，顯著降低顯存占用和延遲。

因此，Gemma 3 270M更適合部署在低配的本地環(huán)境。

雖然Gemma 3 270M剛剛發(fā)布，但Gemma 3系列在不同規(guī)模的任務(wù)中，早已展現(xiàn)出「小而專」的威力。

例如，Adaptive ML與SK Telecom合作解決復(fù)雜多語言內(nèi)容審核的難題時，并沒有依賴龐大的通用模型，而是選擇了微調(diào)一個Gemma 3 4B模型。結(jié)果不僅達(dá)標(biāo)，甚至超越了更大體量的專有模型。

Gemma 3 270M延續(xù)了這一理念，將「小而?！惯M(jìn)一步壓縮到極致，把高效、精準(zhǔn)的特性下放到更多開發(fā)者可直接使用的規(guī)模。

比如，你可以用它構(gòu)建一個「多模型小分隊」，每個模型專攻一類任務(wù)。

但別以為這種小模型只能用在「單調(diào)的」企業(yè)系統(tǒng)里，它的專業(yè)化能力，同樣也能在創(chuàng)意領(lǐng)域干點(diǎn)有趣的事。

例如，Hugging Face的開發(fā)者Joshua，就用Gemma 3 270M搞了個基于Transformers.js的網(wǎng)頁應(yīng)用，生成睡前故事，支持離線運(yùn)行，還能個性化生成角色和情節(jié)。

270M，是誰的「理想型」

Gemma 3 270M承襲了Gemma系列的先進(jìn)架構(gòu)與強(qiáng)大預(yù)訓(xùn)練，具備打造定制應(yīng)用的理想基礎(chǔ)。

如果你的應(yīng)用場景與下列條件類似，那它就是你的「理想型」：

任務(wù)明確、數(shù)據(jù)量大的場景：如情感分析、實體識別、查詢路由、結(jié)構(gòu)化轉(zhuǎn)換、創(chuàng)意寫作和合規(guī)檢查類任務(wù)；

預(yù)算有限，對響應(yīng)速度有高要求：模型微調(diào)后，可運(yùn)行在輕量、低成本的本地或終端設(shè)備上，能幫你省下大模型的推理成本，速度更快；

希望快速迭代和上線：它可以小時級別完成微調(diào)實驗，遠(yuǎn)快于大模型的開發(fā)周期；

需要本地部署，保證隱私：Gemma 3 270M支持完全本地化運(yùn)行，用戶數(shù)據(jù)無需上傳云端；

構(gòu)建多個小模型一起跑：一臺設(shè)備上部署多個任務(wù)專家模型也不吃力，控制預(yù)算的同時實現(xiàn)模型能力最大化。

Gemma 3 270M采用與其他Gemma 3模型一致的架構(gòu)，并配套提供微調(diào)方法與工具，幫助開發(fā)者輕松將其打造成自己專屬的解決方案。

下載模型：Hugging Face、Ollama、Kaggle、LM Studio、Docker全平臺覆蓋，可以獲取預(yù)訓(xùn)練模型及指令微調(diào)版本；

試跑體驗：在Vertex AI或llama.cpp、Gemma.cpp、LiteRT、Keras、MLX等主流工具上都能玩；

開始微調(diào)：使用Hugging Face、UnSloth、JAX等你熟悉的工具開展微調(diào)；

部署上線：微調(diào)完成后，可部署到本地環(huán)境、Google Cloud Run，或任意你選擇的平臺。

Gemmaverse的核心理念是：創(chuàng)新無關(guān)大小。

Gemma 3，尤其是Gemma 3 270M，是開發(fā)者構(gòu)建「專精小模型艦隊」的理想起點(diǎn)。雖然它們身板小，卻能承擔(dān)起各種AI實戰(zhàn)任務(wù)，組團(tuán)干大活一點(diǎn)也不含糊。

Gemma 3：開發(fā)者手中的「瑞士軍刀」

2024年2月，Google推出了Gemma系列的首個版本。

作為Gemini的輕量級版本，Google推出它的初衷很簡單，讓開發(fā)者不再為「模型太大跑不動、模型太小能力不夠」而糾結(jié)。

Gemma 3上線后，「開源友好」「性價比高」「可塑性強(qiáng)」是眾多開發(fā)者對它的一致評價，儼然已成為開發(fā)者AI工具箱里的「瑞士軍刀」。

大模型越來越大，隨之而來的是越來越嚴(yán)重的「算力焦慮」，市場對于低硬件需求且效能強(qiáng)勁的AI解決方案始終存在著巨大需求。

「模型不求大，夠用才是王道」。

Gemma系列的這一設(shè)計理念，正是對上述市場趨勢的積極回應(yīng)，這次Gemma 3 270M的發(fā)布，更是將該理念推向一個新的階段。

參考資料：

https://developers.googleblog.com/en/introducing-gemma-3-270m/

https://huggingface.co/google/gemma-3-270m

https://www.youtube.com/watch?v=qcjrduz_YS8

https://ikala.ai/zh-tw/blog/ikala-ai-insight/gemma-3-intro/