基于逐步生成解決方案的大語(yǔ)言模型（LLMs）訓(xùn)練范式在人工智能領(lǐng)域獲得了廣泛關(guān)注，并已發(fā)展成為行業(yè)內(nèi)的主流方法之一。

例如，OpenAI 在其「12 Days of OpenAI」直播系列的第二日推出了針對(duì) O1 模型的強(qiáng)化微調(diào)（Reinforcement Fine-Tuning，RFT），進(jìn)一步推動(dòng)了 AI 定制化的發(fā)展[1]。RFT/ReFT[2] 的一個(gè)關(guān)鍵組成部分是使用思維鏈（Chain-of-Thought，CoT）注釋[3] 進(jìn)行監(jiān)督微調(diào)（Supervised Fine-Tuning，SFT）。在 DeepSeek-R1 模型[4] 中，引入了少量長(zhǎng) CoT 冷啟動(dòng)數(shù)據(jù)，以調(diào)整模型作為初始強(qiáng)化學(xué)習(xí)的代理。

然而，為了全面理解采用 CoT 訓(xùn)練的策略，需要解決兩個(gè)關(guān)鍵問(wèn)題：

• Q1：與無(wú) CoT 訓(xùn)練相比，采用 CoT 訓(xùn)練有哪些優(yōu)勢(shì)？
• Q2：如果存在優(yōu)勢(shì)，顯式 CoT 訓(xùn)練的潛在機(jī)制是什么？

由于實(shí)際訓(xùn)練過(guò)程中涉及眾多因素，分析顯式 CoT 訓(xùn)練的優(yōu)勢(shì)及其潛在機(jī)制面臨顯著挑戰(zhàn)。為此，我們利用清晰且可控的數(shù)據(jù)分布進(jìn)行了詳細(xì)分析，并揭示了以下有趣現(xiàn)象：

• CoT 訓(xùn)練的優(yōu)勢(shì)

（i）與無(wú) CoT 訓(xùn)練相比，CoT 訓(xùn)練顯著增強(qiáng)了推理泛化能力，將其從僅適用于分布內(nèi)（in-distribution, ID）場(chǎng)景擴(kuò)展到 ID 和分布外（out-of-distribution, OOD）場(chǎng)景（表明系統(tǒng)性泛化），同時(shí)加速了收斂速度（圖 1）。

圖表 1: 模型在優(yōu)化過(guò)程中對(duì)訓(xùn)練和測(cè)試兩跳推理事實(shí)的準(zhǔn)確率。

（ii）即使 CoT 訓(xùn)練中包含一定范圍的錯(cuò)誤推理步驟，它仍能使模型學(xué)習(xí)推理模式，從而實(shí)現(xiàn)系統(tǒng)性泛化（圖 4 和圖 5）。這表明數(shù)據(jù)質(zhì)量比方法本身更為重要。訓(xùn)練的主要瓶頸在于收集復(fù)雜的長(zhǎng) CoT 解決方案，而推理步驟中存在少量的錯(cuò)誤是可以接受的。

• CoT 訓(xùn)練的內(nèi)部機(jī)制

（i）數(shù)據(jù)分布的關(guān)鍵因素（如比例 λ 和模式 pattern）在形成模型的系統(tǒng)性泛化中起著決定性作用。換句話(huà)說(shuō)，在 CoT 訓(xùn)練中僅接觸過(guò)兩跳數(shù)據(jù)的模型無(wú)法直接泛化到三跳情況，它需要接觸過(guò)相關(guān)模式。

（ii）通過(guò) logit lens 和 causal tracing 實(shí)驗(yàn)，我們發(fā)現(xiàn) CoT 訓(xùn)練（基于兩跳事實(shí)）將推理步驟內(nèi)化到模型中，形成一個(gè)兩階段的泛化電路。推理電路的階段數(shù)量與訓(xùn)練過(guò)程中顯式推理步驟的數(shù)量相匹配。

我們進(jìn)一步將分析擴(kuò)展到推理過(guò)程中存在錯(cuò)誤的訓(xùn)練數(shù)據(jù)分布，并驗(yàn)證了這些見(jiàn)解在現(xiàn)實(shí)數(shù)據(jù)上對(duì)更復(fù)雜架構(gòu)仍然有效。

據(jù)我們所知，我們的研究首次在可控制的實(shí)驗(yàn)中探索了 CoT 訓(xùn)練的優(yōu)勢(shì)，并提供了基于電路的 CoT 訓(xùn)練機(jī)制解釋。這些發(fā)現(xiàn)為 CoT 以及 LLMs 實(shí)現(xiàn)穩(wěn)健泛化的調(diào)優(yōu)策略提供了寶貴的見(jiàn)解。

• 論文標(biāo)題：Unveiling the Mechanisms of Explicit CoT Training: How Chain-of-Thought Enhances Reasoning Generalization
• 論文鏈接：https://arxiv.org/abs/2502.04667

一、預(yù)備知識(shí)與定義

本部分介紹研究使用的符號(hào)定義，具體如下：

原子與多跳事實(shí)：研究使用三元組來(lái)表示原子（一跳）事實(shí)，并基于原子事實(shí)和連接規(guī)則來(lái)表示兩跳事實(shí)以及多跳事實(shí)。

二、系統(tǒng)性組合泛化

本研究聚焦于模型的組合能力，即模型需要將不同事實(shí)片段「串聯(lián)」起來(lái)的能力。盡管顯式的推理步驟表述（如思維鏈推理）能夠提升任務(wù)表現(xiàn) [4-8]，但這些方法在大規(guī)模（預(yù)）訓(xùn)練階段并不可行，而該階段正是模型核心能力形成的關(guān)鍵時(shí)期 [9-10]。已有研究對(duì)基于 Transformer 的語(yǔ)言模型是否能夠執(zhí)行隱式組合進(jìn)行了廣泛探討，但均得出了否定結(jié)論 [11-12]。

具體而言，存在顯著的「組合性鴻溝」[11]，即模型雖然掌握了所有基礎(chǔ)事實(shí)卻無(wú)法進(jìn)行有效組合的情況，這種現(xiàn)象在不同大語(yǔ)言模型中普遍存在，且不會(huì)隨模型規(guī)模擴(kuò)大而減弱。

更準(zhǔn)確地說(shuō)，Wang 等人 [13] 的研究表明，Transformer 模型能夠在同分布泛化中學(xué)習(xí)隱式推理，但在跨分布泛化中則表現(xiàn)欠佳（如圖 1 左所示）。

這自然引出一個(gè)問(wèn)題：如果在訓(xùn)練過(guò)程中使用顯式推理步驟，模型的泛化能力將受到何種影響？（即回答 Q1：與無(wú)思維鏈訓(xùn)練相比，基于思維鏈的訓(xùn)練具有哪些優(yōu)勢(shì)？）

思維鏈訓(xùn)練顯著提升推理泛化能力

如圖 1 所示，我們展示了模型在訓(xùn)練和測(cè)試兩跳事實(shí)上的準(zhǔn)確率隨優(yōu)化過(guò)程的變化，其中 λ = 7.2。

關(guān)鍵影響因素探究

研究進(jìn)一步開(kāi)展了消融實(shí)驗(yàn)，以評(píng)估不同因素在思維鏈訓(xùn)練中的影響。

圖表 2: 分布外測(cè)試集上的推理泛化速度。

適當(dāng)?shù)?λ 值能夠加速模型收斂。圖 2（左）展示了不同 λ 值下的分布外測(cè)試準(zhǔn)確率?？梢钥闯?，λ 值與泛化速度存在強(qiáng)相關(guān)性。更有趣的是，較小的 λ 值能夠加速由思維鏈訓(xùn)練帶來(lái)的分布外泛化能力提升，從而減少對(duì)長(zhǎng)時(shí)間訓(xùn)練的需求。然而，λ 值并非越小越好，因?yàn)檫^(guò)小的 λ 值可能導(dǎo)致模型無(wú)法學(xué)習(xí)相關(guān)規(guī)則。

不同模型規(guī)模 / 層數(shù)和訓(xùn)練集大小的影響。我們?cè)谀Ｐ蛯訑?shù)∈{2,4,8} 和 λ∈{3.6,7.2,12.6} 的條件下進(jìn)行實(shí)驗(yàn)。總體而言，可以觀察到擴(kuò)大模型規(guī)模并不會(huì)從根本上改變其泛化行為，主要趨勢(shì)是較大的模型能夠在更少的優(yōu)化步驟中收斂。關(guān)于訓(xùn)練集大?。▅E|）的影響，我們的結(jié)果與 [13] 一致：當(dāng)固定 λ 值時(shí)，訓(xùn)練集大小不會(huì)對(duì)模型的泛化能力產(chǎn)生本質(zhì)影響。

兩跳到多跳分析

總結(jié)：至此，我們已經(jīng)證明在受控實(shí)驗(yàn)中引入顯式思維鏈訓(xùn)練能夠顯著提升推理泛化能力，使其從僅限分布內(nèi)泛化擴(kuò)展到同時(shí)涵蓋分布內(nèi)和分布外泛化。數(shù)據(jù)分布的關(guān)鍵因素（如比例和模式）在形成模型的系統(tǒng)性泛化能力中起著重要作用。然而，驅(qū)動(dòng)這些改進(jìn)的內(nèi)部機(jī)制仍不明確，我們將進(jìn)一步探討（回答 Q2：如果存在優(yōu)勢(shì)，顯式思維鏈訓(xùn)練的潛在機(jī)制是什么？）。

圖表 3: 兩跳事實(shí)訓(xùn)練對(duì)應(yīng)的兩階段泛化電路（模型層數(shù)：8）。

三、兩階段泛化電路

研究通過(guò)兩種主流方法分析模型在泛化過(guò)程中的內(nèi)部工作機(jī)制：logit lens [16] 和 causal tracing [17]，本部分研究使用表示兩跳推理。

系統(tǒng)性泛化解釋

（1）兩階段泛化電路表明，使用思維鏈訓(xùn)練可以將推理步驟內(nèi)化到模型中。這也解釋了為什么模型在思維鏈訓(xùn)練下能夠在跨分布測(cè)試數(shù)據(jù)上表現(xiàn)出良好的泛化能力。

（2）該電路由兩個(gè)階段組成，與訓(xùn)練期間模型中的顯式推理步驟相一致。因此，模型在思維鏈訓(xùn)練期間僅接觸兩跳數(shù)據(jù)時(shí)無(wú)法在測(cè)試階段直接泛化到三跳場(chǎng)景。

四、更普適的分析

總體而言，我們目前的研究為通過(guò)受控?cái)?shù)據(jù)分布上的思維鏈訓(xùn)練來(lái)深入理解和增強(qiáng) Transformer 的泛化能力鋪平了道路。然而，現(xiàn)實(shí)世界中的訓(xùn)練數(shù)據(jù)分布往往更為復(fù)雜。在本部分中，我們將分析擴(kuò)展到推理過(guò)程中存在錯(cuò)誤的分布，并展示思維鏈訓(xùn)練能提高模型的泛化能力的結(jié)論在更復(fù)雜的場(chǎng)景中仍然成立。

數(shù)據(jù)分布帶噪

方法：我們旨在分析通過(guò)思維鏈訓(xùn)練獲得的系統(tǒng)性泛化能力在噪聲訓(xùn)練數(shù)據(jù)下的魯棒性。我們通過(guò)隨機(jī)選擇一個(gè)有效實(shí)體向引入噪聲（真實(shí)訓(xùn)練目標(biāo)為）：

需要注意的是，噪聲比例用 ξ 表示，我們將探討不同 ξ 值的影響。

圖表 4: 僅第二跳噪聲對(duì)分布內(nèi)和分布外的影響。

圖表 5: 模型在不同噪聲比例（兩跳均有噪聲）下對(duì)訓(xùn)練和測(cè)試兩跳推理事實(shí)的準(zhǔn)確率。

結(jié)果：我們針對(duì)兩種情況分析了不同的 ξ（噪聲比例）候選集：僅第二跳有噪聲時(shí)為 {0.05, 0.2, 0.4, 0.6, 0.8}，兩跳均有噪聲時(shí)為 {0.05, 0.1, 0.2, 0.4}。比較結(jié)果如下：

（1）圖 4 清晰地展示了僅第二跳噪聲對(duì)分布內(nèi)和分布外泛化的影響?？傮w而言，在思維鏈訓(xùn)練條件下，模型仍能夠從噪聲訓(xùn)練數(shù)據(jù)中實(shí)現(xiàn)系統(tǒng)性泛化，但其泛化能力隨著噪聲比例的增加而降低。

更具體地說(shuō)，隨著訓(xùn)練的進(jìn)行，分布外泛化最初保持不變，然后增加，而分布內(nèi)泛化先增加后減少。分布內(nèi)泛化的減少與分布外泛化的增加相對(duì)應(yīng)。

然而，隨著噪聲比例的增加，分布內(nèi)和分布外泛化的最終性能都會(huì)下降。特別是當(dāng)噪聲比例（ξ < 0.2）相對(duì)較小時(shí)，模型幾乎不受影響，這展示了思維鏈訓(xùn)練的魯棒性。

此外，我們同樣檢查了泛化電路。由于我們僅在第二跳添加噪聲，第一跳階段的電路學(xué)習(xí)得相對(duì)較好，而第二跳階段的電路受噪聲影響更大。

（2）圖 5 展示了在兩跳噪聲 ξ 值為 0.05、0.1、0.2 和 0.4 時(shí)的結(jié)果比較。與僅在第二跳添加噪聲相比，在兩跳都添加噪聲對(duì)模型泛化的抑制效果要強(qiáng)得多。大于 0.2 的噪聲比例足以幾乎消除分布內(nèi)和分布外泛化能力。

總而言之，即使在訓(xùn)練數(shù)據(jù)存在噪聲的情況下，當(dāng)噪聲在一定范圍內(nèi)時(shí)，思維鏈訓(xùn)練仍能使模型實(shí)現(xiàn)系統(tǒng)性泛化。特別是當(dāng)噪聲比例較小時(shí)，這些噪聲數(shù)據(jù)仍能幫助模型學(xué)習(xí)泛化電路。

五、討論

總結(jié)

本文通過(guò)在受控和可解釋的環(huán)境中展示系統(tǒng)性組合泛化如何通過(guò)顯式思維鏈（CoT）訓(xùn)練在 Transformer 中產(chǎn)生，揭示了思維鏈訓(xùn)練的核心機(jī)制。具體而言：

（1）與無(wú)思維鏈訓(xùn)練相比，思維鏈訓(xùn)練顯著增強(qiáng)了推理泛化能力，使其從僅限分布內(nèi)（ID）泛化擴(kuò)展到同時(shí)涵蓋分布內(nèi)和分布外（OOD）場(chǎng)景。

（2）通過(guò) logit lens 和 causal tracing 實(shí)驗(yàn)，我們發(fā)現(xiàn)思維鏈訓(xùn)練（使用兩跳事實(shí)）將推理步驟內(nèi)化到 Transformer 中，形成了一個(gè)兩階段泛化電路。然而，模型的推理能力受訓(xùn)練數(shù)據(jù)復(fù)雜性的限制，因?yàn)樗y以從兩跳情況泛化到三跳情況。這表明思維鏈推理主要是重現(xiàn)了訓(xùn)練集中存在的推理模式。

（3）我們進(jìn)一步將分析擴(kuò)展到推理過(guò)程中存在錯(cuò)誤的訓(xùn)練數(shù)據(jù)分布，證明當(dāng)噪聲保持在一定范圍內(nèi)時(shí)，思維鏈訓(xùn)練仍能使模型實(shí)現(xiàn)系統(tǒng)性泛化，此類(lèi)噪聲數(shù)據(jù)的結(jié)構(gòu)或許有助于泛化電路的形成。

有趣的是，我們的工作還突出了思維鏈訓(xùn)練的瓶頸：訓(xùn)練數(shù)據(jù)分布（比例 λ 和模式）在引導(dǎo)模型實(shí)現(xiàn)泛化電路方面起著關(guān)鍵作用。模型需要在訓(xùn)練過(guò)程中接觸過(guò)相關(guān)模式（特別是思維鏈步驟的數(shù)量）。

這可能解釋了為什么 DeepSeek-R1 [4] 在冷啟動(dòng)階段構(gòu)建和收集少量長(zhǎng)思維鏈數(shù)據(jù)來(lái)微調(diào)模型。我們的發(fā)現(xiàn)為調(diào)整大語(yǔ)言模型（LLMs）以實(shí)現(xiàn)穩(wěn)健泛化的策略提供了關(guān)鍵見(jiàn)解。

不足與未來(lái)展望

（1）盡管我們的自下而上的研究為實(shí)際應(yīng)用提供了寶貴的見(jiàn)解，但我們工作的一個(gè)關(guān)鍵局限是實(shí)驗(yàn)和分析基于合成數(shù)據(jù)，這可能無(wú)法完全捕捉現(xiàn)實(shí)世界數(shù)據(jù)集和任務(wù)的復(fù)雜性。雖然我們的一些結(jié)論也在 Llama2-7B [18] 等模型中得到了驗(yàn)證，但有必要在更廣泛的模型上進(jìn)行進(jìn)一步驗(yàn)證，以彌合我們的理論理解與實(shí)際應(yīng)用之間的差距。

（2）我們的分析目前僅限于使用自然語(yǔ)言。未來(lái)，我們旨在探索大型語(yǔ)言模型在無(wú)限制潛在空間中的推理潛力，特別是通過(guò)訓(xùn)練大型語(yǔ)言模型在連續(xù)潛在空間中進(jìn)行推理 [19] 等方法。

（3）最近的一種方法，「backward lens」[20]，將語(yǔ)言模型的梯度投影到詞匯空間，以捕捉反向信息流。這為我們完善思維鏈訓(xùn)練的潛在機(jī)制分析提供了一個(gè)新的視角。

作者介紹

劉勇，中國(guó)人民大學(xué)，長(zhǎng)聘副教授，博士生導(dǎo)師，國(guó)家級(jí)高層次青年人才。長(zhǎng)期從事機(jī)器學(xué)習(xí)基礎(chǔ)理論研究，共發(fā)表論文 100 余篇，其中以第一作者 / 通訊作者發(fā)表頂級(jí)期刊和會(huì)議論文近 50 篇，涵蓋機(jī)器學(xué)習(xí)領(lǐng)域頂級(jí)期刊 JMLR、IEEE TPAMI、Artificial Intelligence 和頂級(jí)會(huì)議 ICML、NeurIPS 等。獲中國(guó)人民大學(xué)「杰出學(xué)者」、中國(guó)科學(xué)院「青年創(chuàng)新促進(jìn)會(huì)」成員、中國(guó)科學(xué)院信息工程研究所「引進(jìn)優(yōu)青」等稱(chēng)號(hào)。主持國(guó)家自然科學(xué)面上 / 基金青年、北京市面上項(xiàng)目、中科院基礎(chǔ)前沿科學(xué)研究計(jì)劃、騰訊犀牛鳥(niǎo)基金、CCF - 華為胡楊林基金等項(xiàng)目。

姚鑫浩，中國(guó)人民大學(xué)高瓴人工智能學(xué)院博士研究生，本科畢業(yè)于中國(guó)人民大學(xué)高瓴人工智能學(xué)院。當(dāng)前主要研究方向包括大模型推理與機(jī)器學(xué)習(xí)理論。

參考文獻(xiàn)

[1] OpenAI. 12 days of openai. https://openai.com/ 12-days/, 2024a.

[2] Trung, L., Zhang, X., Jie, Z., Sun, P., Jin, X., and Li, H. ReFT: Reasoning with reinforced fine-tuning. In Ku, L.-W., Martins, A., and Srikumar, V. (eds.), Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp.7601–7614, 2024.

[3] Wei, J., Wang, X., Schuurmans, D., Bosma, M., brian ichter, Xia, F., Chi, E. H., Le, Q. V., and Zhou, D. Chain of thought prompting elicits reasoning in large language models. In Advances in Neural Information Processing Systems, 2022.

[4] DeepSeek-AI, Guo, D., Yang, D., Zhang, H., et al. Deepseek-r1: Incentivizing reasoning capability in llms via reinforcement learning, 2025. URL https://arxiv.org/abs/2501.12948.

[5] Lake, B. and Baroni, M. Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks. In Proceedings of the International Conference on Machine Learning, pp. 2873–2882, 2018a.

[6] Wang, B., Deng, X., and Sun, H. Iteratively prompt pretrained language models for chain of thought. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 2714–2730, 2022.

[7] Zelikman, E., Wu, Y., Mu, J., and Goodman, N. STar: Bootstrapping reasoning with reasoning. In Advances in Neural Information Processing Systems, 2022.

[8] Liu, J., Pasunuru, R., Hajishirzi, H., Choi, Y., and Celikyilmaz, A. Crystal: Introspective reasoners reinforced with self-feedback. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 11557–11572, 2023.

[9] Li, Z., Wallace, E., Shen, S., Lin, K., Keutzer, K., Klein, D., and Gonzalez, J. Train big, then compress: Rethinking model size for efficient training and inference of transformers. In Proceedings of the 37th International Conference on Machine Learning, pp. 5958–5968, 2020.

[10] Zhou, C., Liu, P., Xu, P., Iyer, S., Sun, J., Mao, Y., Ma, X., Efrat, A., Yu, P., YU, L., Zhang, S., Ghosh, G., Lewis, M., Zettlemoyer, L., and Levy, O. Lima: Less is more for alignment. In Advances in Neural Information Processing Systems, 2023a.

[11] Press, O., Zhang, M., Min, S., Schmidt, L., Smith, N., and Lewis, M. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 5687– 5711, 2023.

[12] Yang, S., Gribovskaya, E., Kassner, N., Geva, M., and Riedel, S. Do large language models latently perform multi-hop reasoning?, 2024. URL https://arxiv. org/abs/2402.16837.

[13] Wang, B., Yue, X., Su, Y., and Sun, H. Grokking of implicit reasoning in transformers: A mechanistic journey to the edge of generalization. In Advances in Neural Information Processing Systems, 2024a.

[14] Power, A., Burda, Y., Edwards, H., Babuschkin, I., and Misra, V. Grokking: Generalization beyond overfitting on small algorithmic datasets, 2022. URL https:// arxiv.org/abs/2201.02177.

[15] Cabannes, V., Arnal, C., Bouaziz, W., Yang, X. A., Charton, F., and Kempe, J. Iteration head: A mechanistic study of chain-of-thought. In Advances in Neural Information Processing Systems, 2024.

[16] Nostalgebraist. Interpreting gpt: The logit lens, 2020.

[17] Pearl, J. Causality: Models, Reasoning, and Inference. Cambridge University Press, Cambridge, 2009. ISBN 9780521426085.

[18] Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M.-A., Lacroix, T., Roziere, B., Goyal, N., Hambro, E., ` Azhar, F., et al. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.

[19] Hao, S., Sukhbaatar, S., Su, D., Li, X., Hu, Z., Weston, J., and Tian, Y. Training large language models to reason in a continuous latent space, 2024b. URL https:// arxiv.org/abs/2412.06769.

[20] Katz, S., Belinkov, Y., Geva, M., and Wolf, L. Backward lens: Projecting language model gradients into the vocabulary space. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, pp. 2390–2422, 2024.