聞樂(lè) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

發(fā)布即拿下各項(xiàng)SOTA的Claude Opus 4.1，也翻車了。

不止一位用戶反饋Claude Opus 4.1變得遲鈍，于是把官方炸出來(lái)承認(rèn)：Claude Opus 4.1在處理某些請(qǐng)求時(shí)確實(shí)出現(xiàn)了質(zhì)量退化。

Claude Opus 4.1到底出現(xiàn)了什么問(wèn)題？

Claude Opus 4.1白天推理性能下降

實(shí)際上，在Anthropic發(fā)聲明的前幾天就有用戶發(fā)帖表示：Claude Opus 4.1在上午10點(diǎn)到11點(diǎn)這段時(shí)間性能非常差。

模型經(jīng)常像變了個(gè)人，在完成處理文稿任務(wù)時(shí)總是出現(xiàn)很多錯(cuò)誤。但是這種質(zhì)量下滑卻在凌晨時(shí)消失

有人猜測(cè)，導(dǎo)致這一現(xiàn)象的原因可能是Claude Opus 4.1白天采用1.58位量化

這種方式的首要問(wèn)題在于對(duì)模型精度影響較大。

量化本質(zhì)是將模型參數(shù)從標(biāo)準(zhǔn)的16位浮點(diǎn)（FP16）或32位浮點(diǎn)（FP32）降低到低位格式，1.58位量化更是極端，僅用 {-1, 0, 1} 三個(gè)值來(lái)表示參數(shù)。

由于在信息論中，三個(gè)可能的值需要log?(3)≈1.58496 bits來(lái)表示，這種量化方式也因此得名。

然而，這樣雖然減少了內(nèi)存使用，卻很容易讓模型丟失關(guān)鍵信息。

就像在Claude Opus 4.1中，如果白天使用1.58 位量化為大量用戶服務(wù)，模型在處理復(fù)雜問(wèn)題時(shí)，智能水平就會(huì)明顯下滑，代碼邏輯分析出錯(cuò)、文案撰寫(xiě)邏輯混亂，連常規(guī)任務(wù)表現(xiàn)也不盡人意。

在實(shí)際應(yīng)用中，1.58位量化還可能導(dǎo)致模型穩(wěn)定性欠佳。當(dāng)模型參數(shù)被強(qiáng)制限定在有限的三個(gè)值時(shí)，面對(duì)復(fù)雜多變的輸入數(shù)據(jù)，它的應(yīng)對(duì)能力就會(huì)受到制約。

在一些需要對(duì)輸入數(shù)據(jù)進(jìn)行精準(zhǔn)處理的場(chǎng)景下，例如醫(yī)學(xué)圖像分析、金融風(fēng)險(xiǎn)預(yù)測(cè)等，模型可能因1.58位量化無(wú)法準(zhǔn)確捕捉數(shù)據(jù)特征，給出錯(cuò)誤結(jié)果，進(jìn)而影響整個(gè)系統(tǒng)的穩(wěn)定性和可靠性。

除了白天性能下降的問(wèn)題，在使用限制方面，官方的回應(yīng)也并不明確。

用戶反映有一次使用Claude Opus 4.1不到兩小時(shí)，就已經(jīng)達(dá)到了使用上限。去詢問(wèn)客服時(shí)，得到的反饋一會(huì)兒是由于使用時(shí)長(zhǎng)限制，一會(huì)兒又說(shuō)是使用量。

并且，限額的問(wèn)題也不止一位用戶反映。

甚至有用戶反映該模型還會(huì)暴露API密鑰。

面對(duì)這么多吐槽，好在Anthropic官方?jīng)]讓人等太久，出來(lái)回應(yīng)了。

直接承認(rèn)是推理堆棧出了問(wèn)題，本來(lái)是想提升模型效率，結(jié)果沒(méi)想到影響了響應(yīng)質(zhì)量。（沒(méi)找借口，態(tài)度倒是挺實(shí)在）

而且解決速度也快已經(jīng)把Claude Opus 4.1的版本回滾了，還特意提了Claude Opus 4.0也受了同樣影響，正在處理，算是把問(wèn)題考慮周全了。

聲明一發(fā)，有網(wǎng)友調(diào)侃稱還是第一次看到“明星公司”承認(rèn)模型出了問(wèn)題。

看來(lái)Anthropic良好的認(rèn)錯(cuò)態(tài)度還是被廣大網(wǎng)友接受了。

不過(guò)話說(shuō)回來(lái)，Claude的用戶們，你們最近有沒(méi)有察覺(jué)Opus 4.1的質(zhì)量下滑呢？

[1]https://x.com/TheAhmadOsman/status/1961870729609175088
[2]https://status.anthropic.com/incidents/h26lykctfnsz
[3]https://www.reddit.com/r/Anthropic/comments/1n28ya2/claude_opus_is_all_over_the_place_lately_and_i/

— 完 —