新智元報(bào)道
編輯:定慧 好困
【新智元導(dǎo)讀】谷歌最新圖像模型nano banana橫空出世,它不僅能融合多張圖片拼接出全新畫面,還能理解地理、建筑與物理結(jié)構(gòu),甚至將二維地圖轉(zhuǎn)化為三維景觀。憑借Gemini的世界知識(shí)與交錯(cuò)生成技術(shù),模型實(shí)現(xiàn)了「有記憶」的多輪創(chuàng)作,帶來極高一致性與創(chuàng)造力。nano banana正在重塑AI圖像生成的邊界,也引發(fā)了「AI創(chuàng)意伙伴」未來的無限遐想。
納尼(°ロ°),怎么AI圈子突然就開始「納米香蕉革命」了。
谷歌沒想到自己發(fā)布了一個(gè),直接就引爆了社區(qū)!
最近這個(gè)香蕉實(shí)在太火了,仿佛又回到幾個(gè)月前的OpenAI的「吉卜力熱」盛況。
圖片由nano banana生成,這個(gè)超人COS太贊了
但這次谷歌nano banana帶來了更多顛覆性的玩法,不像吉卜力只有一個(gè)生成風(fēng)格,估計(jì)谷歌都沒有想到網(wǎng)友們的創(chuàng)新力量太絕了。
比如你可以最多上傳13張圖片,然后讓nano banana合并起來。
你能相信上面的圖片是AI用下面這些「零件」組合起來的嗎?
按照谷歌的說法,這次nano banana不僅是一個(gè)圖像模型,而且具備Gemini強(qiáng)大的世界知識(shí)。
這讓nano banana的理解能力來到一個(gè)新的維度(文章后面有谷歌團(tuán)隊(duì)專訪,揭秘了模型背后的最新技術(shù)路線)。
既然可以拼接物理世界的物體,那是不是可以「拼接」人物動(dòng)作?
這不就是妥妥的分鏡嗎?然后網(wǎng)友繼續(xù)用海螺AI制作了如下短片。
感覺用AI拍電影也不是不可能啊!
由于nano banana擁有Gemini的世界知識(shí),你只需上傳現(xiàn)實(shí)世界的截圖,就能讓它為你標(biāo)注內(nèi)容。
比如在畫面中標(biāo)注東京塔。
還可以標(biāo)注更多建筑。
左右滑動(dòng)查看
甚至使用機(jī)器人視角,勾勒人物輪廓,這不就是終結(jié)者視角嗎?賽博朋克味來了!
最神奇的是,nano banana可以從「二維地圖」看出「三維世界」。
網(wǎng)友們非常喜歡的用納米香蕉變換谷歌地圖「紅色箭頭看到了什么」.
比如從西邊這個(gè)角度看過去的金門大橋。
或者從東邊看過去的東京塔。
更神奇的是,納米香蕉似乎真的理解了地理中的等高線知識(shí),可以從等高線直接繪制出真實(shí)地理地貌。
甚至以前讓我們頭痛的工程繪圖視角,都能輕松拿捏。
可以將任意一張圖渲染成上、下、左、右、前、后視圖。
甚至可以使用nano banana來給自己定制試衣服,任何元素都可以「穿在」身上。
不僅不用再穿衣服,連動(dòng)作都可以直接復(fù)刻。
X上網(wǎng)友@ZHO_ZHO_ZHO用人像+動(dòng)作框架就可以直接完成攝影棚級(jí)別的拍攝效果。
反過來也沒問題,可以從圖像中,提取現(xiàn)實(shí)建筑的物理結(jié)構(gòu)。
甚至,還可以「逆向」P圖,首先把原圖改為黑白色線框,然后再選擇自己喜歡的顏色,最后給圖片重新上色。
nano banana轉(zhuǎn)化線稿和上色非常的精準(zhǔn)
當(dāng)然,腦洞和整蠱是不可能缺席的。
比如讓奧特曼穿著衣服來玩鞍馬。
除了可以做出「新的」圖片,nano banana還能修復(fù)「老」照片。
補(bǔ)充破損、折痕,還能還原被時(shí)間抹去的清晰畫面。
由于納米香蕉nano banana實(shí)在太火了,甚至有網(wǎng)友表示,應(yīng)該給起名字的工程師加薪。
此前nano banana在LMArena上線后迅速風(fēng)靡。
最終盲測下,Gemini 2.5 Flash Image成績一騎絕塵。
谷歌這個(gè)nano banana明顯不同于之前的圖像模型,比如GPT-4o原生圖像模型,能力確實(shí)上了一個(gè)臺(tái)階。
納米香蕉背后是否有新的技術(shù),新的體系引進(jìn)?
正好,谷歌DeepMind團(tuán)隊(duì)剛剛接受了采訪,講述了模型背后的故事。
「納米香蕉革命」
nano banana幕后首次公開
nano banana項(xiàng)目負(fù)責(zé)人和研究員接受DeepMind產(chǎn)品負(fù)責(zé)Logan Kilpatrick播客采訪,揭秘了模型背后的技術(shù)密碼:
模型可以訪問多模態(tài)上下文,然后生成圖像。所以模型可以選擇查看之前的圖像,并嘗試生成與之非常不同的東西。
交錯(cuò)生成的神奇之處在于,它為你提供了一種用于圖像生成的新范例……將復(fù)雜的提示分解成多個(gè)步驟,并在不同的步驟中逐一進(jìn)行編輯。
未來的發(fā)展方向是讓模型不僅能生成高質(zhì)量圖像,更能理解深層意圖……甚至超越用戶指令,提供更有創(chuàng)造性的結(jié)果,并確保內(nèi)容的真實(shí)性和準(zhǔn)確性。
在谷歌DeepMind的訪談現(xiàn)場,主持人Logan Kilpatrick成了新一代Gemini圖像模型的首位「受害者」。
產(chǎn)品經(jīng)理Nicole上傳了他的照片,然后向模型下達(dá)了一個(gè)看似無厘頭的指令:
「拉遠(yuǎn)鏡頭,給他穿上一套巨大的香蕉服,臉要露出來。」
短短幾秒后,結(jié)果呈現(xiàn)在屏幕上。
照片里的Logan依然是他,但身上卻天衣無縫地套著一件亮黃色的香蕉道具服,背景切換到了芝加哥的街景。
「太有趣了,」Logan驚嘆道,「這張照片是在芝加哥拍的,那條街實(shí)際上差不多就是那個(gè)樣子。」
「納米香蕉」是個(gè)什么梗
緊接著,Nicole又輸入了一個(gè)更神秘的指令:「把它變成nano風(fēng)格。」
「這是什么意思?」Logan一頭霧水。
屏幕上,一個(gè)穿著香蕉服的Q版Logan出現(xiàn)了,可愛又精致。
謎底揭曉:原來,「nano banana」(納米香蕉)是這款新模型在早期匿名測試平臺(tái)LMArena上使用的代號(hào)。
這個(gè)模型聰明到能理解這個(gè)「內(nèi)部梗」,并以極富創(chuàng)意的方式執(zhí)行了指令。
這種「聰明」的背后,是新模型最核心的技術(shù)——原生與交錯(cuò)式生成(Native and Interleaved Generation)。
對(duì)于傳統(tǒng)的圖像模型來說,每次編輯都像是一次「失憶」后的重新創(chuàng)作;相比之下,Gemini則像是一位「有記憶」的畫家。
也就是,當(dāng)Gemini進(jìn)行多輪創(chuàng)作時(shí),一切都在模型的上下文中——它記得上一筆畫了什么,也理解對(duì)話的來龍去脈。
為了證明這一點(diǎn),團(tuán)隊(duì)展示了另一個(gè)酷炫的例子:「把主體變成五種不同的1980年代美式商場風(fēng)?!?/p>
模型不僅在短短13秒內(nèi)生成了五張風(fēng)格各異但主角高度一致的照片,甚至還貼心地為每張圖起了「街機(jī)之王」、「酷蓋」、「泡商城達(dá)人」、「淡定哥」這樣充滿年代感的標(biāo)題。
左右滑動(dòng)查看
而且,這不僅對(duì)角色構(gòu)建有用,你也可以拍下自己房間的照片,讓它幫你設(shè)計(jì)五種不同的裝修風(fēng)格。
在谷歌內(nèi)部,已經(jīng)有很多人用它來重新設(shè)計(jì)自己的花園和房間了!
在推特「差評(píng)榜」上淬煉
有趣的是,如此強(qiáng)大的模型,竟然是在網(wǎng)友的各種吐槽中誕生的。
研究工程師Robert坦誠地回憶:「(2.0版本發(fā)布后)我們真的就坐在X(推特)上,一條條地看用戶的反饋和抱怨。」
比如「編輯后圖像風(fēng)格不統(tǒng)一」、「修改了不該改的地方」等等都會(huì)收集起來,并制作成一個(gè)專門的內(nèi)部評(píng)估基準(zhǔn)——一個(gè)名副其實(shí)的「推特差評(píng)榜」。
在訓(xùn)練過程中,有一個(gè)問題曾讓研究員Kaushik近乎「瘋狂」地執(zhí)著——文字渲染。
「我們曾經(jīng)在很長一段時(shí)間里對(duì)他置之不理,」Robert開玩笑說,「覺得這家伙有點(diǎn)瘋狂,對(duì)文字渲染也太執(zhí)著了?!?/p>
但Kaushik的堅(jiān)持,最終得到了證明。
具體來說就是,當(dāng)一個(gè)模型能精準(zhǔn)地渲染出文字的筆畫結(jié)構(gòu)時(shí),它對(duì)整個(gè)圖像的宏觀與微觀結(jié)構(gòu)的理解力也會(huì)隨之躍升。
而這個(gè)曾經(jīng)被忽視的細(xì)節(jié),最終也成了模型能力進(jìn)化的關(guān)鍵信號(hào)。
Gemini x Imagen秘密聯(lián)姻
那么,新模型是如何在「聰明」(遵循指令)和「好看」(圖像質(zhì)量)之間取得完美平衡的呢?
答案在于一次關(guān)鍵的內(nèi)部合作:Gemini團(tuán)隊(duì)與Imagen團(tuán)隊(duì)的強(qiáng)強(qiáng)聯(lián)合。
你可以把Gemini團(tuán)隊(duì)理解為模型的「大腦」,他們賦予模型世界知識(shí)、強(qiáng)大的邏輯推理和指令遵循能力。
而Imagen團(tuán)隊(duì),則像是模型的「藝術(shù)總監(jiān)」,他們擁有「被磨練出的、極其敏銳的審美品味」。
對(duì)此,Kaushik分享了一個(gè)十分戲劇性的場景:「以前我們覺得一個(gè)編輯成功了,只要指令完成了就行。但I(xiàn)magen團(tuán)隊(duì)的同事看到后,會(huì)直截了當(dāng)?shù)赝虏壅f:這太糟糕了。你怎么會(huì)想讓模型做出這種東西來?!」
是的,團(tuán)隊(duì)里真的會(huì)有對(duì)美學(xué)非常敏感的成員,去仔細(xì)地審查成百上千張圖片,并且僅憑肉眼就能判斷出模型間的細(xì)微優(yōu)劣。
大家甚至開玩笑說,未來的目標(biāo)是根據(jù)他們的品味,訓(xùn)練一個(gè)「審美自動(dòng)評(píng)分器」。
一個(gè)比你更聰明的創(chuàng)意伙伴
最后,當(dāng)被問及未來時(shí),團(tuán)隊(duì)的想象力被徹底打開。
Nicole的夢想,可以說是擊中了每一個(gè)PM的心:「我希望有一天,這個(gè)模型能直接為我制作一套看起來很棒的工作幻燈片。它不僅要好看,所有圖表和數(shù)據(jù)都必須是事實(shí)準(zhǔn)確(Factuality)的。」
而研究員Mostafa的愿景則更具哲學(xué)思辨,也更令人激動(dòng)。他期待的不僅僅是高質(zhì)量的圖像,而是一種全新的智能——「Smartness」。
「我期待這樣一種情況:我讓模型做一件事,它沒有完全遵循我的指令。但在看到結(jié)果后,我反而會(huì)說:我很高興它沒聽我的,這結(jié)果比我實(shí)際描述的還要好!」
在Mostafa看來,這并非模型的「失誤」或「意外」,而是一種更高層次的智能涌現(xiàn)。
當(dāng)AI的知識(shí)和視角超越用戶時(shí),它不再是一個(gè)被動(dòng)的工具,而是一個(gè)能主動(dòng)提供更優(yōu)解的、比你更「聰明」的創(chuàng)意伙伴。
參考資料:
https://x.com/6xyzzxy1/status/1960736252661260294
https://x.com/Error_HTTP_404/status/1960405116701303294
https://x.com/tokumin/status/1960583251460022626
https://x.com/op7418/status/1960362278357987649
https://x.com/skirano/status/1960343968320737397
https://x.com/yachimat_manga/status/1960555945131696329
https://x.com/alex_prompter/status/1960773176264118429
https://x.com/bilawalsidhu/status/1960529167742853378
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.