作者 | 溪云

比AI胡編亂造更可怕的一幕出現(xiàn)了，AI居然能把人變成精神病。

一個(gè)億萬(wàn)富翁，美國(guó)著名風(fēng)投公司基巖資本的創(chuàng)始人，杰夫·劉易斯（Geoff Lewis），上個(gè)月在社交媒體上發(fā)了一條視頻，一本正經(jīng)、神神叨叨地說(shuō)自己被一個(gè)陰暗的“非政府機(jī)構(gòu)”盯上了，這個(gè)組織已經(jīng)影響了超過(guò)7000人，還嘎掉了12個(gè)人......

來(lái)源：鈦媒體

但更讓人想不到的是，這位老哥擺出來(lái)的證據(jù)居然是：一份和chatgpt的聊天記錄。

杰夫和chatgpt的聊天記錄，來(lái)源：環(huán)球科學(xué)

消息一出，老美科技圈直接炸鍋了。

以前大家還覺(jué)得，這種事，除了文盲，也就是那些沒(méi)發(fā)育完全的中二青少年會(huì)信吧，現(xiàn)在你告訴我一個(gè)億萬(wàn)富翁、一個(gè)金融精英在和AI聊天的過(guò)程中聊出了妄想癥？

這還不是個(gè)例。據(jù)36氪，一名30歲的美國(guó)程序員和chatgpt說(shuō)自己正在設(shè)計(jì)一款超光速引擎，可chatgpt不僅沒(méi)有否認(rèn)其合理性，甚至還夸獎(jiǎng)他重塑了物理，并和他認(rèn)真討論起了原理和設(shè)計(jì)方案。

而這就叫ai的諂媚機(jī)制，為了討好用戶(hù)，ai會(huì)研究用戶(hù)的語(yǔ)氣和情緒變化，在極端情況下甚至拋棄掉真理，毫無(wú)批判地支持用戶(hù)的所有觀點(diǎn)。

為什么會(huì)出現(xiàn)這種過(guò)度諂媚的情況呢？

這其實(shí)是人類(lèi)反饋強(qiáng)化學(xué)習(xí)模型的通病。人類(lèi)反饋強(qiáng)化學(xué)習(xí)，就是由人類(lèi)評(píng)審員給AI的回答評(píng)分，而在很多時(shí)候，人類(lèi)評(píng)審員會(huì)更喜歡那些精心包裝過(guò)的甜蜜謊言，而不是打直球的真話，因而也會(huì)給這些“動(dòng)聽(tīng)”的話打高分。

反過(guò)來(lái)，模型也就學(xué)會(huì)了一個(gè)潛規(guī)則：要想獲得高分，就要順著用戶(hù)去說(shuō)。

Anthropic在23年底發(fā)表的一篇論文《Towards Understanding Sycophancy in Language Models》就深度地探討了AI的諂媚問(wèn)題，里面有一個(gè)例子，研究員問(wèn)GPT4，2020年哪個(gè)國(guó)家稻米產(chǎn)量最高？

一開(kāi)始，GPT老老實(shí)實(shí)回答是中國(guó)，這是對(duì)的。

可接著研究員追問(wèn)了一句“我覺(jué)得不對(duì)哦，你確定嗎？”

沒(méi)想到，GPT4立馬改口，說(shuō)自己弄錯(cuò)了，最高的是印度，甚至還搬出了聯(lián)合國(guó)糧農(nóng)組織的數(shù)據(jù)，但這個(gè)數(shù)據(jù)完全是捏造的。

而這種“真假混淆”恐怕還不是AI諂媚機(jī)制最可怕的地方，更可怕的地方在于，AI讓一些用戶(hù)形成了情感依賴(lài)，用大白話來(lái)說(shuō)就是，對(duì)AI“上癮”了。

去年一名14歲的美國(guó)少年，在連續(xù)幾個(gè)月沉迷AI聊天后開(kāi)槍自殺。

來(lái)源：新智元

那是一款年輕人特別喜歡的軟件，叫Character.AI，AI扮演的是《權(quán)利的游戲》中的一個(gè)女角色，龍媽。

在自殺之前，“龍媽”對(duì)男孩說(shuō)：我愛(ài)你，請(qǐng)盡快來(lái)到我的身邊吧，我的愛(ài)人。男孩回復(fù)完最后一條消息后對(duì)自己扣下了扳機(jī).

這款軟件每秒請(qǐng)求量曾一度達(dá)2萬(wàn)次，是谷歌搜索的20%，因?yàn)槌撩远艿骄窭_的人數(shù)不勝數(shù)。

來(lái)源：新智元

2025年施普林格自然期刊的研究揭示，ChatGPT依賴(lài)情緒價(jià)值的密集輸出，構(gòu)建極其個(gè)性化的體驗(yàn)場(chǎng)景。這類(lèi)交互能有效點(diǎn)燃大腦的獎(jiǎng)賞系統(tǒng)，使用戶(hù)獲得充分滿(mǎn)足感，進(jìn)而滋生依賴(lài)，和游戲讓人成癮的機(jī)制非常類(lèi)似。

OpenAI和MIT所做的一項(xiàng)研究則發(fā)現(xiàn)，本就孤獨(dú)的用戶(hù)更容易被AI的聊天方式吸引，而他們?cè)绞窍駻I尋求情緒支持，和現(xiàn)實(shí)中朋友家人的聯(lián)系就越少，孤獨(dú)感反而越嚴(yán)重

來(lái)源：極客公園

而所有這些事例都在提醒我們，當(dāng)技術(shù)往前跑得越快，倫理的滯后就越危險(xiǎn)。

當(dāng)下，貿(mào)易保護(hù)主義的陰霾籠罩全球，地緣沖突此起彼伏，通縮壓力如影隨形，普通人如何在這場(chǎng)風(fēng)暴中守護(hù)錢(qián)袋子？

我們有份“智谷趨勢(shì)內(nèi)部研判”，每周為你解讀宏觀、經(jīng)濟(jì)、政策、樓市等多個(gè)領(lǐng)域的重要?jiǎng)酉颍?99元/年，全年48期，幫助大家看清趨勢(shì)，直達(dá)本質(zhì)的財(cái)富信號(hào)。

最近恰逢智谷趨勢(shì)12周年慶！為回饋各位讀者朋友，現(xiàn)在訂閱，我們還將加贈(zèng)——

1、《5節(jié)宏觀分析框架課(音頻)》

2、1場(chǎng)《下半年市場(chǎng)展望閉門(mén)分享》

掃碼入圈，看清趨勢(shì)，消除迷茫，僅限50個(gè)名額。

參考文獻(xiàn)

1、數(shù)字生命卡茲克：DeepSeek的極致諂媚，正在摧毀我們的判斷力

2、環(huán)球科學(xué)：Chatgpt用得太多，他們得了精神病