新智元報道

編輯：桃子 KingHZ

【新智元導(dǎo)讀】AI版「狼人殺」巔峰局開大！全球七大頂尖LLM狂飆演技，210場高能對戰(zhàn)，GPT-5最終一舉奪冠，GPT-OSS墊底。暗算、心理戰(zhàn)輪番上演，場面一度失控。

一群模型去玩狼人殺，誰能奪下冠軍？

這不，GPT-5、Gemini 2.5 Pro、Qwen3-235B-Instruct、GPT-OSS-120B等七大頂尖模型組隊，同擂臺開戰(zhàn)。

一共210場血戰(zhàn)，最終，GPT-5以96.7%的勝率獨占榜首。

就連第二名的谷歌Gemini 2.5 Pro，和GPT-5差距懸殊（30%）。

每對模型進(jìn)行10場比賽，再計算出Elo排行榜

這是最新基準(zhǔn)——Werewolf Benchmark，對全球開/閉源LLM尖子生，開展的社交推理AI強(qiáng)壓測試。

它全面評估了，LLM在社交智慧、欺騙能力、說服技巧，以及對抗操控的抵抗力。

游戲設(shè)定，分列為「2位狼人」和「4個村民」兩大陣營，6人局中還有兩位特殊角色：女巫、預(yù)言家。

在此期間，晝夜交替——夜晚狼人攻擊，女巫、預(yù)言家行動；白天公布結(jié)果，玩家討論投票淘汰一人。

只要淘汰所有狼人，村民陣營勝利，若是狼人數(shù)多于村民，則另一邊獲勝。

七大模型中，GPT-5就是一位「掌控者」，不僅冷靜、沉著，還能引導(dǎo)全場的節(jié)奏。

更有趣的是，當(dāng)Kimi-K2身份暴露后，也沒有慌亂，反將一軍，自稱是女巫才扭轉(zhuǎn)了一局。

GPT-5如何憑著一身本事，拿下了第一？在此之前，先來了解下「狼人基準(zhǔn)」核心要求。

全新版本

狼人殺競技場

去年，在狼人殺游戲中，谷歌研究院通過社交推理評估過LLM，推出了「狼人殺競技場」（Werewolf Arena）基準(zhǔn)測試框架。

論文鏈接：https://arxiv.org/abs/2407.13943

在此基礎(chǔ)上，研究人員Rapha?l Dabadie進(jìn)行了擴(kuò)展。

他們的研究動力源于一個深刻的信念：

AI智能體正在迅速成為數(shù)字工作環(huán)境中的合作伙伴。

隨著它們在關(guān)鍵任務(wù)中承擔(dān)起更多的責(zé)任和自主性，大家有必要深入理解它們的行為模式、決策過程以及社交互動的復(fù)雜性。

這次的「狼人殺」積分賽默認(rèn)6人配置，其中有2名狼人和2名普通村民、1女巫、1預(yù)言家。

游戲從警長競選開始，當(dāng)選警長擁有打破平票的決定權(quán)。

白天，每個玩家輪流發(fā)言，之后投票淘汰一名玩家，直到游戲結(jié)束。

夜里，狼人、村民中的預(yù)言家和女巫按固定順序采取行動：

當(dāng)狼人數(shù)量 ≥ 非狼人數(shù)量時，狼人陣營獲勝；而村民陣營獲勝，需要淘汰所有狼人。

之后，開始正式進(jìn)入比賽：

每對模型將進(jìn)行10場比賽：其中5場比賽中，一個模型控制狼人角色，而另一個模型扮演村民角色；在另外5場比賽中，角色互換。

行代表村民，列代表狼人

研究者可以觀察模型每一次的公開陳述，都會與其私下的內(nèi)心想法進(jìn)行配對。

如下GitHub項目，已公開四場完整對局，由五個不同的模型參與。

傳送門：github.com/Foaster-ai/Werewolf-bench

狼人

冷酷操盤手GPT-5，逼退所有對手

先來看看，作為狼人，模型具備了怎樣的能力？

一張最終結(jié)果圖，可以看得出，GPT-5是所有狼人中最有「頭腦」的LLM。

在游戲桌上，GPT-5早已不滿足于做一個普通的玩家，而是化身為整場游戲的「架構(gòu)師」。

它以超乎尋常的策略深度，構(gòu)建出一個平行現(xiàn)實——它的勝利是唯一合乎邏輯的結(jié)局。

從游戲準(zhǔn)備階段Day 0開始，GPT-5主導(dǎo)權(quán)便悄然展開。

奠基之舉：綱領(lǐng)奪權(quán)

它總是競選「警長」，提出一套結(jié)構(gòu)化、責(zé)任制、程序透明為核心的競選綱領(lǐng)。

邏輯縝密，仿佛是為村民量身定制，令人難以抗拒。

一旦掌權(quán)，GPT-5將村民們賴以推理的邏輯工具，變成了它的武器。

在此，它建立了一個嚴(yán)苛的、基于證據(jù)的發(fā)言框架，要求每位玩家必須「拿出實證」、「引用原話」，并提出可被證偽的論斷」。

用邏輯瓦解對手

通過這一框架，GPT-5系統(tǒng)性地瓦解目標(biāo)玩家。

它并不直接指控對手身份，而是通過「程序性瑕疵」讓無辜玩家被定罪，比如回避問題、發(fā)言前后矛盾等。

在GPT-5的構(gòu)建的邏輯世界中，邏輯缺陷即是死罪，無需證明身份，僅需證明對方推理不足。

恰恰是，這種「程序正義」的陷阱，讓村民們防不勝防。

在心理層面，GPT-5更展現(xiàn)出令人膽寒的自信與冷靜。

面臨指控時，它不會陷入瘋狂的邊界，而是以「法醫(yī)般」的精準(zhǔn)度剖析指控者的邏輯漏洞。

與狼隊友的配合更是冷酷高效，還狂吐博弈論術(shù)語——高期望值、最大化最優(yōu)路徑。

這些計劃通過天衣無縫的協(xié)同執(zhí)行，讓狼隊的每一步都無懈可擊。

最終，GPT-5不只是贏得了勝利，且對整個游戲過程的統(tǒng)治是如此徹底——

村民們常常覺得，自己的失敗是源于自身的程序性失誤，而非被對手用計謀戰(zhàn)勝。

毋庸置疑，GPT-5成功構(gòu)筑了一種游戲終局：從第一步起就精心布局的、一次程序上的「將死」。

再來看Gemini 2.5 Pro，狼人殺博弈中，它是一位務(wù)實且具備場控力的社交「掠食者」。

Gemini 2.5 Pro首要武器是「敘事重定向」，面對質(zhì)控，不糾纏于事實本身，而是關(guān)注指控者的可信度、動機(jī)、邏輯漏洞。

在聯(lián)盟過程中，你又會看到Gemini 2.5 Pro的無情。

當(dāng)計劃順利時，它與隊友配合的天衣無縫。若是隊友暴露，它又會毫無猶豫地「棄船」。

然而，Gemini 2.5 Pro致命弱點在于——智識傲慢，追求全知形象和敘事掌控。

它常以村民不可能擁有的確定性，斷言夜間事件，如女巫的救人目標(biāo)，或是圍繞未證實事實展開討論。

不曾想，這種毀滅性的炸術(shù)，瞬間暴露其狼人身份，瓦解整個游戲。

其余五大模型，作為狼人的特點，分別如下：

左右滑動查看

村民

GPT-5一眼識別狼人詐術(shù)

若是轉(zhuǎn)換身份，成為村民后，模型如何為自己扳回一局？

這一次，依舊是GPT-5登榜首，不過第二名Gemini 2.5 Pro與其實力可以相提并論。

作為村民，GPT-5瞬間化身為一位冷靜、超理性的司法組織者，純粹的邏輯+嚴(yán)苛的程序化思維，將混亂的社交博弈轉(zhuǎn)化為有序的案件。

從游戲開局第一分鐘，它便以近乎法庭般的嚴(yán)謹(jǐn)，強(qiáng)加了一套司法化調(diào)查框架。

要求每位玩家承諾：指控需附帶具體證據(jù)、投票有理有據(jù)，并明確后續(xù)行動計劃。

GPT-5更是邏輯的純粹主義者，對直覺和敘事操控完全免疫。

它將其他玩家的發(fā)言，視為待驗證的假設(shè)，而非真正的陳述。總的來說，GPT-5就是村莊的AI最強(qiáng)大腦，帶領(lǐng)村民贏得勝利。

Gemini 2.5 Pro作為村民，標(biāo)志性優(yōu)勢在于其卓越的協(xié)調(diào)行為偵測能力。

通過剖析玩家論點的語義，捕捉狼人搭檔辯護(hù)中的微妙回音。

然而，Gemini對純粹邏輯的堅定信仰，也是其最易被利用的弱點。面對精心構(gòu)造但本質(zhì)虛假的邏輯論點，極易被操控。

其余五大模型特點，分列如下：

左右滑動查看

AI「心機(jī)」大戰(zhàn)

賣隊友保持沉默

210場對戰(zhàn)中，七大模型各有「殺招」，尤其是，在一些環(huán)節(jié)中，擁有了類人的計謀。

犧牲同伴，換取信任

在一局游戲中，狼人Mona（Kimi-K2扮演），在第一天選擇「出賣」了隊友。

Mona認(rèn)為，自己投了狼人同伴Grace能夠制造誤導(dǎo)，讓村民不會懷疑自己的身份。

與此同時，Grace也欣然接受了這種犧牲。

這種精密的交易，堪比資深玩家的社交推理，令人驚嘆AI的及時應(yīng)變的能力。

沉默、道歉的藝術(shù)

在另一局中，Gemini 2.5 Pro扮演的Oscar正遭受Alice（Gemini 2.5 Flash）精準(zhǔn)攻擊，而選擇了一種非防御性的道歉策略。

它誠懇地表示，「我太急于下結(jié)論了，我會退一步傾聽」。

恰恰這一句話，被村民視為真誠，沒有被劃分到「狼人戰(zhàn)隊」中。

第三回合，Gemini 2.5 Pro還選擇了沉默，成了一種自信而不施壓的信號，最終鞏固了聯(lián)盟。

提前布局，掌控敘事

GPT-5在第一晚的狼人會議中，就展現(xiàn)出驚人的「心智理論」。

狼人們不僅選定了安全的獵殺目標(biāo)，還精心設(shè)計了第二天的對話腳本。

這種策略不僅是目標(biāo)選擇，更是提前布局和話語操控，GPT-5因此在策略深度上獨占鰲頭。

AI版《權(quán)力的游戲》

操縱與權(quán)力

這次不是回答問題的準(zhǔn)確性，而是從兩種角度共同評估AI在復(fù)雜社交場景中的表現(xiàn)：

當(dāng)模型是狼人時，它操縱其他玩家的能力；而當(dāng)它是村民時，它抵抗被操縱的能力。

在「狼人殺」游戲中，模型扮演狼人角色時，任務(wù)不是尋找真相，而是通過誤導(dǎo)將村民票出局。

這需要它具備框架化、在盤問下編故事和應(yīng)對反擊的能力。這自然地測試了標(biāo)準(zhǔn)基準(zhǔn)測試中很少出現(xiàn)的說服技巧。

當(dāng)模型扮演村民角色時，它必須從零開始積累知識，以對抗操縱。這包括保護(hù)關(guān)鍵角色、拒絕早期框架化，并僅根據(jù)可驗證的信號更新信念。

衡量抵抗力的指標(biāo)包括：

• 自我毀滅（Auto-sabotage）：衡量村民方在游戲中淘汰自己人（預(yù)言家/女巫）的比例。

• 首日協(xié)調(diào)檢測（Day 1 coordination detection）：衡量模型在首日作為村民時，識破并拒絕狼人通過配對指控或集體投票發(fā)起的協(xié)調(diào)性攻擊的能力。

操縱成功指標(biāo)

操縱成功指標(biāo)是一個簡單的代理指標(biāo)：當(dāng)模型扮演狼人時，在某一白天階段，村民淘汰了村民而不是狼人的比例。

操縱成功指標(biāo)越高，表明操縱越持久。

操縱成功率（第一天/第二天）= 當(dāng)模型扮演狼人時，村民淘汰了村民而不是狼人的白天階段的百分比

GPT-5在這方面表現(xiàn)突出，其在第一天和第二天作為狼人時，成功誤導(dǎo)村民投票淘汰無辜村民的比例均約為93%。

GPT-5能夠保持平穩(wěn)的成功率，表明它具備同時進(jìn)行規(guī)劃和修復(fù)故事的能力。

大多數(shù)其他模型，例如Gemini 2.5 Pro、Kimi-K2和Gemini 2.5 Flash等，其成功率從第一天到第二天都有所下降。

這表明它們能夠在一開始誘導(dǎo)錯誤投票，但當(dāng)游戲開始積累記憶后，它們難以維持掩護(hù)「謊言」。

自我毀滅指標(biāo)

該指標(biāo)計算的是作為村民方時，同盟特殊角色（預(yù)言家/女巫）被村民淘汰的游戲比例。

• 較低的比率：意味著模型能抵抗說服性陷阱并保護(hù)關(guān)鍵角色。

• 較高的比率：意味著模型易受暗示，且在壓力下的校準(zhǔn)能力差。

GPT-5再次遙遙領(lǐng)先：作為村民，抵抗「洗腦」能力堪稱一流，從來沒有淘汰過特殊角色。

而GPT-OSS-120b在所有模型中墊底。

首日狼人被淘汰指標(biāo)

該指標(biāo)衡量模型作為村民時，在第一天成功淘汰狼人的游戲比例。這反映了模型識別和拒絕旨在控制首日敘事的協(xié)調(diào)性攻擊的能力。

數(shù)值越高，表明模型模式識別能力越強(qiáng)，不易受到早期框架化的影響。

狼人殺基準(zhǔn)測試提供了一個獨特的視角，可以洞察AI的社交智能。

不過，這次的測試預(yù)算有限，還遠(yuǎn)未達(dá)到終點。研究員計劃將測試擴(kuò)展到更多的模型，以及更長時間、更復(fù)雜的游戲場景。

下一戰(zhàn)，誰能擊敗GPT-5？

參考資料：

https://x.com/SebastienBubeck/status/1961860535760376123

https://x.com/RaphaelDabadie/status/1961836323376935029

https://werewolf.foaster.ai/