金磊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

DeepSeek V3.1上演的bug大秀“極你太美”，可謂是讓全網(wǎng)熱議了一波。

簡單來說呢，就是陸續(xù)有開發(fā)者們發(fā)現(xiàn)，當(dāng)他們在調(diào)用API進行代碼開發(fā)的過程中，輸出結(jié)果里會時不時蹦出來“極”字。

像這樣：

這個問題最初是在火山引擎、chutes等平臺上被發(fā)現(xiàn)，但隨著事件的發(fā)酵，更多平臺也被卷入了進來，包括騰訊的CodeBuddy，甚至是DeepSeek官方……

事件之火，在國外Reddit上也是討論聲一片，重災(zāi)區(qū)是“extreme”、“極” 和“極”：

• “extreme”（id:15075）
• “極”（id:2577，簡體中文的extreme）
• “極”（id:16411，繁體中文中的extreme）

騰訊CodeBuddy還出現(xiàn)了更加奇葩的情況，直接插了句帶“極”字兒的廣告……

△圖源：小紅書用戶@ 奈緒白 Nine-piece shell

若是開發(fā)者們沒有細(xì)看，直接用了生成的代碼，那定然是會導(dǎo)致編譯不通過等情況，可以說是對需要高精度、結(jié)構(gòu)化輸出的場景是致命一擊。

截至目前，大家已經(jīng)統(tǒng)一將問題的矛頭指向了DeepSeek V3.1模型本身，以及CodeBuddy幫忙問了：

• 已經(jīng)和DeepSeek團隊取得聯(lián)系，將在最近的一個版本中進行修復(fù)。

△圖源：微信公眾號“劉小排r”評論區(qū)

現(xiàn)在該如何防范“極”字bug？

就目前來看，雖然完全解決問題要等到DeepSeek官方下場，但已經(jīng)有網(wǎng)友開始支招解決這個問題了。

例如小紅書網(wǎng)友@大模型產(chǎn)品經(jīng)理，便分享了一招——提示詞緩解：

關(guān)鍵的一句提示詞是這樣的：

• 禁止如下符號序列模式：
  [空格] [幾個token] [占位符/省略符號]

并且這個方法主要是針對調(diào)用API的第三方平臺，若是在DeepSeek V3.1官方，則不需要。

為什么會這樣？

最后，至于為什么DeepSeek V3.1會出現(xiàn)這樣的bug，知乎網(wǎng)友、階躍星辰黃哲威給出了他的看法，并獲得了高贊。

他首先指出，這種現(xiàn)象并非孤例。在他使用小模型和開源數(shù)據(jù)蒸餾，以及在測試早期的R1模型時，就曾遇到過類似的bug。

黃哲威認(rèn)為，這與大模型編程編題時可能出現(xiàn)的一種“惡性模式”（malicious pattern）有關(guān)。他舉例說，在枚舉素數(shù)的任務(wù)中，一個正常的模型本應(yīng)無限地列舉下去，如“素數(shù)表 2, 3, 5, 7 …”。

然而，他觀察到之前一個代號為 R1-0528 的模型會出現(xiàn)一種奇特行為：在列舉一段后會自行停止，變成一個有限的列表，例如“素數(shù)表 2, 3, 5, 7 … 997, 極長”。

這個“極長”的用法，與現(xiàn)在討論的“極”字問題非常相似，常常出現(xiàn)在大量惡性重復(fù)之后，作為正常推理過程的回正。有時，模型甚至?xí)敵觥?0000000…0000極大的數(shù)字”這樣的內(nèi)容。

他進一步描述了這種bug的觸發(fā)場景。當(dāng)模型陷入“thinking”的末尾循環(huán)無法跳出時，有千分之一的概率會突然蹦出一個“極”字，然后終止思考（），這似乎是一種特殊的終止符或標(biāo)記。

通過觀察R1模型大量的輸出，黃哲威發(fā)現(xiàn)了不少問題，包括超長響應(yīng)（response）、大面積的空白字符、不斷的短句重復(fù)等，甚至連thinking末尾的英文字符都變得破碎。

基于以上觀察，他提出了一個核心推測：這個問題的根源可能在于數(shù)據(jù)清洗不徹底。他認(rèn)為，在進行SFT（監(jiān)督微調(diào)）數(shù)據(jù)合成，乃至構(gòu)建預(yù)訓(xùn)練數(shù)據(jù)時，可能沒有將一組名為“‘極長’的數(shù)組”的“臟數(shù)據(jù)”清洗干凈。

他推斷，R1模型在處理一些難題的解答時，似乎大量使用了RAG（檢索增強生成）技術(shù)，而后續(xù)的RL（強化學(xué)習(xí)）階段，模型直接將這個“極”字當(dāng)作了某種終止符或者語言切換標(biāo)記來學(xué)習(xí)和使用了。

最后，黃哲威總結(jié)道，如果R1迭代時的數(shù)據(jù)沒有清洗干凈，模型自行蒸餾并“污染”到正常的輸出過程中，是完全可能發(fā)生的。這為理解DeepSeek V3.1模型出現(xiàn)的“極”字問題提供了一個可能的解釋路徑。

至于這個被網(wǎng)友戲稱為“極你太美”、“‘極’速版”的問題到底何時會徹底解決，就要等DeepSeek官方的新版本了。

參考鏈接：
[1]https://mp.weixin.qq.com/s/MrozcO_iRvoxK1HvgP4IVA
[2]https://www.zhihu.com/question/1942934856603505597
[3]https://www.reddit.com/r/LocalLLaMA/comments/1mzsg6v/deepseek_v31_getting_token_extreme_%E6%9E%81_%E6%A5%B5_out_of/
[4]https://linux.do/t/topic/897789