• 克雷西 發(fā)自 凹非寺
  量子位 | 公眾號 QbitAI

AI已經(jīng)能夠自主思考并證明新的數(shù)學規(guī)律了？

OpenAI研究人員表示，自己喂給GPT-5 Pro一篇論文，結果模型讀完之后得到了新的結論。

在凸優(yōu)化問題當中，GPT-5 Pro針對一個邊界問題，給出了比原文更加精確的閾值和相應證明。

消息立即引發(fā)全網(wǎng)熱議，不到半天推文就有230多萬次閱讀。

不過這位研究人員并沒有將GPT-5 Pro的研究成果發(fā)表成論文，理由是被人類搶先了——

這篇論文后來又更新了一個版本，給出了新的邊界，這個新的邊界又把GPT-5 Pro反超了。

但是，GPT-5 Pro的證明思路與此并不相同，說明它已經(jīng)具備了獨立探索的能力，所以人類的反攻也不影響這是GPT-5 Pro的一個新突破。

OpenAI總裁Brockman甚至將這一成果稱之為“生命跡象”。

凸優(yōu)化曲線是凸的嗎？

喂給GPT-5 Pro的這篇另論文，研究的是凸優(yōu)化（convex optimization）問題，凸優(yōu)化是數(shù)學最優(yōu)化的一個子領域，研究定義于凸集中的凸函數(shù)最小化的問題。

具體來說，這篇論文題目為《凸優(yōu)化曲線是凸的嗎？》，研究了這樣的一個問題：

• 當使用梯度下降算法優(yōu)化光滑凸函數(shù)時，其產(chǎn)生的優(yōu)化曲線（optimization curve）是否是凸的？

這里的“優(yōu)化曲線”指的是函數(shù)值f(x_n)隨迭代次數(shù)n變化的曲線。如果這條曲線是凸的，意味著優(yōu)化速率（即相鄰兩次迭代的函數(shù)值下降量）是單調(diào)遞減的。

關于這個問題，論文的結論是優(yōu)化曲線凸不凸，關鍵取決于步長（step size）的選擇，具體包括如下幾個關鍵點：

• 凸性保證區(qū)間：當步長η ∈ (0, 1/L]時（L為平滑度），優(yōu)化曲線保證是凸的；
• 非凸可能區(qū)間：當步長η ∈ (1.75/L, 2/L)時，即使梯度下降仍單調(diào)收斂，優(yōu)化曲線可能不是凸的；
• 梯度范數(shù)性質(zhì)：對于整個收斂區(qū)間η ∈ (0, 2/L]，梯度范數(shù)序列||?f(x_n)||總是單調(diào)遞減的；
• 二階可導凸函數(shù)的梯度流凸性：對于凸且二階連續(xù)可導的函數(shù)，梯度流的優(yōu)化曲線總是凸的；
• 光滑凸函數(shù)的梯度流凸性：對于凸L-光滑函數(shù)（不要求二階可導），梯度流的優(yōu)化曲線總是凸的；
• 梯度流的梯度范數(shù)單調(diào)性：對于連續(xù)時間的梯度流，優(yōu)化曲線總是凸的；

關于第一個結論，證明的核心是證明序列{f(x_n) - f[(x_(n+1)]}非遞增。

論文作者巧妙地引入輔助函數(shù)g_k(t)，將離散的迭代過程轉化為連續(xù)函數(shù)的積分，利用凸函數(shù)的性質(zhì)證明輔助函數(shù)的單調(diào)性，通過比較相鄰兩個輔助函數(shù)的大小關系，最終證明優(yōu)化曲線的凸性。

非凸可能區(qū)間部分則是構造一個分段函數(shù)（二次函數(shù)和線性函數(shù)的組合）作為反例實現(xiàn)證明。

作者選擇特定的初始點x_0 = -1.8，通過直接計算前三步迭代的函數(shù)值下降量，驗證在該步長范圍內(nèi)，后面的下降量反而比前面大，違反了凸性要求。

由于GPT-5 Pro的證明主要針對的是邊界問題，后面四個結論的證明過程在這里就不詳細介紹了，感興趣的話可以閱讀原論文。

GPT-5 Pro給出新邊界

在論文的第一版中，作者分別證明了步長不大于1/L和大于1.75/L時的情況，但在(1/L, 1.75/L]范圍內(nèi)則未有定論。

GPT-5 Pro則是通過更精細的不等式技巧，用17分半的時間把1/L這個邊界移動到了1.5/L。

而人類檢查證明過程的時間，是25分鐘，GPT-5 Pro讀論文并進行證明的時間還要長。

其核心思路與原論文相似，均是將優(yōu)化曲線凸性問題轉化為證明函數(shù)值下降量遞減。

但GPT-5 Pro巧妙運用了凸L-光滑函數(shù)的兩個基本不等式——Bregman散度不等式（提供更緊的下界）和標準的共強制性（cocoercivity）不等式。

通過這種巧妙的代數(shù)操作，GPT-5 Pro成功將凸性條件進一步細化。

再之后，GPT-5 Pro的發(fā)現(xiàn)還未來得及發(fā)表，論文原作者就對論文進行了更新，作者新增了一名，關鍵是證明了1.75/L就是一個精確界限，之前未探索的區(qū)間實現(xiàn)了閉合。

其思路是利用凸L-光滑函數(shù)的Bregman散度不等式，對三個點對(x_0,x_1)、(x_1,x_2)和(x_0,x_2) 分別建立不等式，之后將三個不等式分別乘以不同權重后求和，并通過恒等式將復雜的梯度項組合化簡。

雖然GPT-5 Pro給出的證明最后被人類扳回一城，但是，其思路和過程與新版論文不同。

也就是說，GPT-5 Pro并不是發(fā)現(xiàn)了新論文才實現(xiàn)邊界的精確化，而是確實具備了自主發(fā)現(xiàn)并證明數(shù)學規(guī)律的能力。

[1]https://x.com/SebastienBubeck/status/1958198661139009862
[2]https://arxiv.org/abs/2503.10138v1
[3]https://arxiv.org/abs/2503.10138v2