時(shí)令 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

AI看世界的方式，與人類大腦保持一致。

但究竟是什么因素驅(qū)動(dòng)了這種腦-模型相似性，至今仍缺乏清晰認(rèn)識(shí)。

為此，F(xiàn)AIR與巴黎高等師范學(xué)院通過訓(xùn)練自監(jiān)督視覺Transformer模型（DINOv3），并使用功能性磁共振成像（fMRI ）和腦磁圖（MEG）從不同指標(biāo)評(píng)估腦-模型相似性。

結(jié)果發(fā)現(xiàn)，模型大小、訓(xùn)練數(shù)據(jù)量和圖像類型都會(huì)影響模型與大腦的相似度，而且這些因素之間還有相互作用。

特別是，規(guī)模最大、訓(xùn)練量最多，并使用人類相關(guān)圖像訓(xùn)練的DINOv3模型，在腦相似性評(píng)分最高。

研究還發(fā)現(xiàn)，類腦表征在AI模型中的出現(xiàn)遵循特定的時(shí)間順序：模型先對(duì)齊人類早期感覺皮層表征，而要像大腦的高層區(qū)域（例如前額葉）一樣處理信息，則需更多訓(xùn)練數(shù)據(jù)。

這一發(fā)展軌跡與人類大腦皮層的結(jié)構(gòu)與功能特性高度一致。模型在訓(xùn)練后期學(xué)到的表征，恰好對(duì)應(yīng)大腦中發(fā)育最晚、最厚、髓鞘最少、處理速度最慢的區(qū)域。

DINOV3學(xué)到的與大腦一致

DINOv3是一種自監(jiān)督視覺Transformer模型，已在17億張自然圖像上進(jìn)行訓(xùn)練。

為了進(jìn)行全面評(píng)估，研究人員從零訓(xùn)練了DINOv3模型的8個(gè)變體，以覆蓋不同的模型規(guī)模、訓(xùn)練數(shù)據(jù)量和數(shù)據(jù)類型。

為了對(duì)比不同類型圖像對(duì)模型訓(xùn)練的效果，研究者重新訓(xùn)練了三種DINOv3模型，分別使用人類中心圖像、細(xì)胞圖像和衛(wèi)星圖像，且每類圖像數(shù)量均為1000萬張。

在評(píng)估DINOv3模型與人類大腦視覺表征的相似度時(shí)，研究從功能性磁共振成像（fMRI ）和腦磁圖（MEG）中篩選出15個(gè)具有代表性的感興趣區(qū)域（ROIs） ，覆蓋從低級(jí)視覺皮層到高級(jí)前額葉皮層的完整視覺加工層級(jí)。

結(jié)果顯示，隨著訓(xùn)練的進(jìn)行，DINOv3學(xué)到的表征會(huì)逐步與人腦的表征相一致。

其次，DINOv3學(xué)會(huì)的這種表征層級(jí)，與大腦中的空間層級(jí)和時(shí)間層級(jí)相對(duì)應(yīng)。

為了繼續(xù)探究DINOv3中類腦表征的出現(xiàn)，研究人員在DINOv3每個(gè)選定訓(xùn)練步驟上評(píng)估編碼評(píng)分、空間評(píng)分和時(shí)間評(píng)分，并用“半達(dá)時(shí)間”總結(jié)其發(fā)展速度，即達(dá)到最終評(píng)分一半所對(duì)應(yīng)的訓(xùn)練步驟。

令人驚訝的是，這些編碼、空間和時(shí)間相關(guān)的評(píng)分都會(huì)在訓(xùn)練過程中出現(xiàn)，但出現(xiàn)的速度各不相同。

低級(jí)視覺區(qū)表征通常在DINOv3訓(xùn)練的早期就獲得，而要學(xué)到與前額葉皮層類似的表征，則需要更多的訓(xùn)練。

其次是模型大小，更大的模型在訓(xùn)練中更快表現(xiàn)出類腦特征，腦評(píng)分更高，尤其是在高級(jí)腦區(qū)表現(xiàn)明顯。

最后是圖像類型，即使只使用衛(wèi)星圖像或細(xì)胞圖像訓(xùn)練的模型，也能顯著捕捉到腦信號(hào)，但使用人類中心圖像訓(xùn)練的模型在所有腦區(qū)的編碼效果更高。

這一結(jié)果可能是因?yàn)槿祟愔行膱D像更接近大腦日常接觸的視覺輸入，而衛(wèi)星圖像和細(xì)胞圖像則是大腦未經(jīng)過訓(xùn)練處理的圖像類型。

為探討類腦表征與皮層的關(guān)系 ，研究人員分析了編碼半達(dá)時(shí)間與皮層四種特性的相關(guān)性。

1、皮層擴(kuò)展：他們比較嬰兒與成人皮層結(jié)構(gòu)的圖譜，發(fā)現(xiàn)半達(dá)時(shí)間與皮層擴(kuò)展高度正相關(guān)。這表明發(fā)育增長較大的皮層區(qū)域，其在AI模型中對(duì)應(yīng)的表征出現(xiàn)較晚。

2、皮層厚度：皮層較厚的區(qū)域半達(dá)時(shí)間更長。

3、皮層動(dòng)力學(xué)：內(nèi)在動(dòng)力學(xué)最慢的區(qū)域也往往具有最長的半達(dá)時(shí)間，即DINOv3的深層表征通常對(duì)應(yīng)大腦反應(yīng)較慢的區(qū)域。

4、皮層髓鞘：髓鞘可加快神經(jīng)信號(hào)傳導(dǎo)，其濃度與半達(dá)時(shí)間呈顯著負(fù)相關(guān)，說明髓鞘濃度越高，表征出現(xiàn)越早。

論文鏈接：https://arxiv.org/abs/2508.18226
參考鏈接：https://x.com/JeanRemiKing/status/1962453435199983982