新智元報(bào)道

編輯：元宇

【新智元導(dǎo)讀】大模型越來(lái)越大，開(kāi)發(fā)者的「算力焦慮」也越來(lái)越嚴(yán)重。谷歌的Gemma卻另辟蹊徑：模型不求大，夠用才是王道。Gemma 3系列，尤其是新成員Gemma 3 270M正是這一理念的最佳詮釋者。它雖然「身板小」，卻能承擔(dān)各種AI實(shí)戰(zhàn)任務(wù)，還能「組團(tuán)」一起干大事。

大塊頭不等于大智慧。

這在生成式AI領(lǐng)域，已逐漸成為共識(shí)。

Gemma 3系列的成功就是一個(gè)很好的例證。

在過(guò)去幾個(gè)月，是Gemma 3系列開(kāi)源模型的高光時(shí)刻。

先是Gemma 3和Gemma 3 QAT，在云端和本地桌面加速器上，均跑出了SOTA級(jí)別的表現(xiàn)。

緊接著，主打「移動(dòng)優(yōu)先」的Gemma 3n完整版，將強(qiáng)大、實(shí)時(shí)的多模態(tài)生成式AI直接帶入邊緣設(shè)備。

上周，Gemma系列模型的總下載量突破了2億大關(guān)，Gemmaverse社區(qū)的熱度空前高漲。

Google又乘勢(shì)推出了Gemma 3 270M。

看名字中的「M」就知道，它的目標(biāo)不是「通吃一切」，而是要以更低成本、更高效率、更快速度地完成你交給它的活。

小身板，真能打

Gemma 3 270M是Gemma 3系列中參數(shù)規(guī)模最小的。

別看它個(gè)頭小，能量卻不可小覷。

在IFEval基準(zhǔn)測(cè)試上，Gemma 3 270M樹(shù)立了性能新標(biāo)桿。

它的IFEval分?jǐn)?shù)接近50%，顯著高于一些相同尺寸甚至更大尺寸的模型。

在小模型陣營(yíng)里，它是唯一接近50%水平的，意味著它在指令跟隨任務(wù)中表現(xiàn)非常突出。

再加上其出色的文本結(jié)構(gòu)化能力，讓它更適用于面向特定任務(wù)的微調(diào)，從而在端側(cè)部署和科研應(yīng)用方面均展現(xiàn)出獨(dú)特優(yōu)勢(shì)。

在效率上，Gemma 3 270M在中小模型中表現(xiàn)最優(yōu)，甚至超越了更大規(guī)模的Qwen 2.5 0.5B和SmolLM2-360M；但與1B級(jí)別的模型相比，仍有20~25個(gè)百分點(diǎn)的IFEval差距：這是極致壓縮帶來(lái)的不可避免損失。

綜合來(lái)看，Gemma 3 270M重要的性能亮點(diǎn)有：

小體積，強(qiáng)架構(gòu)：模型中的1.7億參數(shù)用在詞嵌入層，支持256k超大詞表，能識(shí)別冷門(mén)Token，適合細(xì)分行業(yè)和語(yǔ)言環(huán)境下微調(diào)使用。剩下1億參數(shù)，則用于Transformer塊；

省電狂魔：Google在Pixel 9 Pro上實(shí)測(cè)，INT4量化版本進(jìn)行25輪對(duì)話(huà)只耗0.75%電量，是迄今最節(jié)能的Gemma模型；

跟指令超聽(tīng)話(huà)：除了預(yù)訓(xùn)練版本外，Google還放出了指令微調(diào)模型，開(kāi)箱即用，能直接處理常規(guī)的指令類(lèi)任務(wù)；

量產(chǎn)級(jí)QAT支持，部署無(wú)憂(yōu)：模型提供了量化感知訓(xùn)練（QAT）版本，可在INT4精度下運(yùn)行，性能幾乎無(wú)損，特別適合資源受限設(shè)備的部署需求。

用對(duì)AI，才能事半功倍

「掛一幅畫(huà)，你會(huì)用鐵錘嗎？」

這句話(huà)提醒我們：用對(duì)AI才能事半功倍。

不是每個(gè)AI項(xiàng)目，都需要?jiǎng)佑脦资畠|參數(shù)的大模型（大錘），更多情況下，像Gemma 3 270M這樣的小模型，反而是你需要的那把「AI扳手」。

Gemma 3 270M推出，正是延續(xù)了該系列模型「用對(duì)工具」的理念。

它是一款「開(kāi)箱即戰(zhàn)」的高性能基礎(chǔ)模型，正如上文在它的性能亮點(diǎn)中提到的，出色的指令跟隨能力，經(jīng)過(guò)簡(jiǎn)單微調(diào)后，便可以在文本分類(lèi)、數(shù)據(jù)抽取等任務(wù)中游刃有余。

此外，它還能直接部署在手機(jī)，或者樹(shù)莓派這樣的單片機(jī)電腦上。

有了這樣一個(gè)小而強(qiáng)、易部署的模型作為起點(diǎn)，開(kāi)發(fā)者可以打造輕量、快速且極具成本優(yōu)勢(shì)的生產(chǎn)系統(tǒng)。

Plaito AI的CTO Greg Mars對(duì)Gemma 3 270M頗為贊賞，認(rèn)為它可以在自己的M4 Pro上極其快速、高質(zhì)量的運(yùn)行。

LLM研究工程師Sebastian Raschka，還貼出了Gemma 3 270M和Qwen3 0.6B的并排比較。

他認(rèn)為最大的驚喜是Gemma 3 270M只有4個(gè)注意力頭。

和Qwen3 0.6B的16個(gè)注意力頭相比，Gemma 3 270M只有4個(gè)注意力頭，這意味著后者在推理時(shí)key/value復(fù)用率高，顯著降低顯存占用和延遲。

因此，Gemma 3 270M更適合部署在低配的本地環(huán)境。

雖然Gemma 3 270M剛剛發(fā)布，但Gemma 3系列在不同規(guī)模的任務(wù)中，早已展現(xiàn)出「小而專(zhuān)」的威力。

例如，Adaptive ML與SK Telecom合作解決復(fù)雜多語(yǔ)言?xún)?nèi)容審核的難題時(shí)，并沒(méi)有依賴(lài)龐大的通用模型，而是選擇了微調(diào)一個(gè)Gemma 3 4B模型。結(jié)果不僅達(dá)標(biāo)，甚至超越了更大體量的專(zhuān)有模型。

Gemma 3 270M延續(xù)了這一理念，將「小而專(zhuān)」進(jìn)一步壓縮到極致，把高效、精準(zhǔn)的特性下放到更多開(kāi)發(fā)者可直接使用的規(guī)模。

比如，你可以用它構(gòu)建一個(gè)「多模型小分隊(duì)」，每個(gè)模型專(zhuān)攻一類(lèi)任務(wù)。

但別以為這種小模型只能用在「單調(diào)的」企業(yè)系統(tǒng)里，它的專(zhuān)業(yè)化能力，同樣也能在創(chuàng)意領(lǐng)域干點(diǎn)有趣的事。

例如，Hugging Face的開(kāi)發(fā)者Joshua，就用Gemma 3 270M搞了個(gè)基于Transformers.js的網(wǎng)頁(yè)應(yīng)用，生成睡前故事，支持離線(xiàn)運(yùn)行，還能個(gè)性化生成角色和情節(jié)。

270M，是誰(shuí)的「理想型」

Gemma 3 270M承襲了Gemma系列的先進(jìn)架構(gòu)與強(qiáng)大預(yù)訓(xùn)練，具備打造定制應(yīng)用的理想基礎(chǔ)。

如果你的應(yīng)用場(chǎng)景與下列條件類(lèi)似，那它就是你的「理想型」：

任務(wù)明確、數(shù)據(jù)量大的場(chǎng)景：如情感分析、實(shí)體識(shí)別、查詢(xún)路由、結(jié)構(gòu)化轉(zhuǎn)換、創(chuàng)意寫(xiě)作和合規(guī)檢查類(lèi)任務(wù)；

預(yù)算有限，對(duì)響應(yīng)速度有高要求：模型微調(diào)后，可運(yùn)行在輕量、低成本的本地或終端設(shè)備上，能幫你省下大模型的推理成本，速度更快；

希望快速迭代和上線(xiàn)：它可以小時(shí)級(jí)別完成微調(diào)實(shí)驗(yàn)，遠(yuǎn)快于大模型的開(kāi)發(fā)周期；

需要本地部署，保證隱私：Gemma 3 270M支持完全本地化運(yùn)行，用戶(hù)數(shù)據(jù)無(wú)需上傳云端；

構(gòu)建多個(gè)小模型一起跑：一臺(tái)設(shè)備上部署多個(gè)任務(wù)專(zhuān)家模型也不吃力，控制預(yù)算的同時(shí)實(shí)現(xiàn)模型能力最大化。

Gemma 3 270M采用與其他Gemma 3模型一致的架構(gòu)，并配套提供微調(diào)方法與工具，幫助開(kāi)發(fā)者輕松將其打造成自己專(zhuān)屬的解決方案。

下載模型：Hugging Face、Ollama、Kaggle、LM Studio、Docker全平臺(tái)覆蓋，可以獲取預(yù)訓(xùn)練模型及指令微調(diào)版本；

試跑體驗(yàn)：在Vertex AI或llama.cpp、Gemma.cpp、LiteRT、Keras、MLX等主流工具上都能玩；

開(kāi)始微調(diào)：使用Hugging Face、UnSloth、JAX等你熟悉的工具開(kāi)展微調(diào)；

部署上線(xiàn)：微調(diào)完成后，可部署到本地環(huán)境、Google Cloud Run，或任意你選擇的平臺(tái)。

Gemmaverse的核心理念是：創(chuàng)新無(wú)關(guān)大小。

Gemma 3，尤其是Gemma 3 270M，是開(kāi)發(fā)者構(gòu)建「專(zhuān)精小模型艦隊(duì)」的理想起點(diǎn)。雖然它們身板小，卻能承擔(dān)起各種AI實(shí)戰(zhàn)任務(wù)，組團(tuán)干大活一點(diǎn)也不含糊。

Gemma 3：開(kāi)發(fā)者手中的「瑞士軍刀」

2024年2月，Google推出了Gemma系列的首個(gè)版本。

作為Gemini的輕量級(jí)版本，Google推出它的初衷很簡(jiǎn)單，讓開(kāi)發(fā)者不再為「模型太大跑不動(dòng)、模型太小能力不夠」而糾結(jié)。

Gemma 3上線(xiàn)后，「開(kāi)源友好」「性?xún)r(jià)比高」「可塑性強(qiáng)」是眾多開(kāi)發(fā)者對(duì)它的一致評(píng)價(jià)，儼然已成為開(kāi)發(fā)者AI工具箱里的「瑞士軍刀」。

大模型越來(lái)越大，隨之而來(lái)的是越來(lái)越嚴(yán)重的「算力焦慮」，市場(chǎng)對(duì)于低硬件需求且效能強(qiáng)勁的AI解決方案始終存在著巨大需求。

「模型不求大，夠用才是王道」。

Gemma系列的這一設(shè)計(jì)理念，正是對(duì)上述市場(chǎng)趨勢(shì)的積極回應(yīng)，這次Gemma 3 270M的發(fā)布，更是將該理念推向一個(gè)新的階段。

參考資料：

https://developers.googleblog.com/en/introducing-gemma-3-270m/

https://huggingface.co/google/gemma-3-270m

https://www.youtube.com/watch?v=qcjrduz_YS8

https://ikala.ai/zh-tw/blog/ikala-ai-insight/gemma-3-intro/