既能將 DeepSeek R1 技術(shù)遷移到多模態(tài)領(lǐng)域，也能讓 Qwen2 VL 學(xué)會批判性思維，最低只需 10 條數(shù)據(jù)就能提升模型性能，這便是來自上海交通大學(xué)、上海人工智能實驗室和香港中文大學(xué)的研究人員打造的名為 Visual-RFT（Visual Reinforcement Fine-Tuning）的視覺強化微調(diào)開源項目，它進一步擴展了強化微調(diào)在視覺任務(wù)上的應(yīng)用領(lǐng)域。

（來源：arXiv）

在只有大約 100 個樣本的數(shù)據(jù)極其有限的采樣條件下，Visual-RFT 的準(zhǔn)確率比基線提高 24.3%，而監(jiān)督微調(diào)則下降了 4.3%。

在小樣本實驗中，盡管 Visual-RFT 使用最少的訓(xùn)練數(shù)據(jù)，但是與監(jiān)督微調(diào)相比，它展示了更卓越的小樣本學(xué)習(xí)能力。在推理定位方面，Visual-RFT 在高度依賴推理的 LISA 數(shù)據(jù)集上表現(xiàn)出色，超過了像 GroundedSAM 這樣的專門模型。

此外，在開放詞匯對象檢測中，Visual-RFT 將識別能力快速轉(zhuǎn)移到新類別，包括 LVIS（Large Vocabulary Instance Segmentation）中的罕見類別，表現(xiàn)出很強的泛化能力。

具體而言，2B 模型在新類別的 COCO 數(shù)據(jù)集上實現(xiàn)了從 9.8 到 31.3 的平均精度均值（mAP，mean Average Precision）改進，在特定的罕見類別的 LVIS 上實現(xiàn)了 2.7 到 20.7 的平均精度均值改善。

這些多樣化的視覺感知任務(wù)不僅突顯了 Visual-RFT 在視覺識別中的強大泛化能力，還凸顯了強化學(xué)習(xí)在增強視覺感知和推理方面的關(guān)鍵作用。

Visual-RFT：微調(diào)大型視覺語言模型的范式轉(zhuǎn)變

Visual-RFT，也是第一種采用基于群體相對策略優(yōu)化的強化學(xué)習(xí)策略來增強大型視覺語言模型的視覺感知能力和定位能力的方法。

Visual-RFT 在后訓(xùn)練階段使用基于群體相對策略優(yōu)化的強化算法和可驗證的獎勵，來增強模型的視覺感知能力和推理能力，從而能夠提高大型視覺語言模型在處理各種視覺任務(wù)時的性能，特別是在微調(diào)數(shù)據(jù)有限的情況下。

具體來說，Visual-RFT 使用大型視覺語言模型為每個輸入生成包含推理 tokens 和最終答案的多個響應(yīng)，然后使用視覺感知可驗證獎勵函數(shù)，通過群體相對策略優(yōu)化（GRPO，Group Relative Policy Optimization）算法來更新模型。

研究中，研究人員為不同的感知任務(wù)設(shè)計了不同的可驗證獎勵函數(shù)，例如用于物體檢測的聯(lián)合交叉（IoU，Intersection over Union）獎勵。在細粒度圖像分類、少量樣本物體檢測、推理基礎(chǔ)以及開放詞匯對象檢測基準(zhǔn)上的實驗結(jié)果表明，與監(jiān)督微調(diào)（SFT，Supervised Fine-tuning）相比，Visual-RFT 具有更強的性能和泛化能力。

例如，在大約 100 個樣本的一次細粒度圖像分類中，Visual-RFT 的準(zhǔn)確率比基線提高 24.3%。在少量樣本物體檢測中，Visual-RFT 在 COCO 數(shù)據(jù)集的 two-shot 設(shè)置上也超過了基線 21.9，在 LVIS 上超過了基線 15.4。

概括來說：

首先，Visual-RFT 將具有可驗證獎勵的強化學(xué)習(xí)擴展到視覺感知任務(wù)中，而這些任務(wù)在微調(diào)數(shù)據(jù)有限的情況下是有效的。

其次，研究人員為不同的視覺任務(wù)設(shè)計不同的可驗證獎勵，以幾乎可以忽略不計的成本實現(xiàn)了高效、高質(zhì)量的獎勵計算。

再次，研究人員對各種視覺感知任務(wù)進行了廣泛的實驗，包括細粒度圖像分類、小樣本物體檢測、推理基礎(chǔ)和開放詞匯表物體檢測。在所有設(shè)置中，Visual-RFT 都實現(xiàn)了顯著的性能提升，大大超越了監(jiān)督微調(diào)基線。

通過使用基于規(guī)則的可驗證獎勵系統(tǒng)，Visual-RFT 減少了手動標(biāo)記的需要并簡化了獎勵計算，從而在各種視覺感知任務(wù)中取得了顯著的進步。Visual-RFT 在最小數(shù)據(jù)下優(yōu)于監(jiān)督微調(diào)，并顯示出很強的泛化能力，借此展示了強化學(xué)習(xí)在增強大型視覺語言模型能力方面的潛力，使它們在視覺感知任務(wù)中變得更加高效和有效。

Visual-RFT：與依賴于記住正確答案的監(jiān)督微調(diào)形成對比

Visual-RFT 的框架下圖所示，其由來自用戶的多模態(tài)輸入數(shù)據(jù)由圖像和問題組成。

（來源：arXiv）

策略模型 πθ 輸出推理過程，并根據(jù)輸入生成一組響應(yīng)。每個響應(yīng)都通過一個可驗證的獎勵函數(shù)來計算獎勵。在對每個輸出的獎勵進行分組計算后，評估每個響應(yīng)的質(zhì)量并用于更新策略模型。為了確保策略模型訓(xùn)練的穩(wěn)定性，Visual-RFT 使用 KL 散度（Kullback-Leibler Divergence）來限制策略模型和參考模型之間的差異。（注：KL 散度，也稱為相對熵，是一種衡量兩個概率分布之間差異的指標(biāo)。）

為了在可視化任務(wù)上擴展強化微調(diào)，研究人員給出了可視化強化微調(diào)的實現(xiàn)細節(jié)。對于每個輸入，Visual-RFT 使用大型視覺語言模型生成包含推理 tokens 和最終答案的多個響應(yīng)。

（來源：arXiv）

研究人員表示，Visual-RFT 與依賴于記住正確答案的監(jiān)督微調(diào)形成對比。相反，Visual-RFT 能夠探索不同的潛在解決方案，并學(xué)習(xí)優(yōu)化由研究人員設(shè)計的可驗證獎勵函數(shù)所定義的期望結(jié)果，而不僅僅是模仿預(yù)先定義的答案。

Visual-RFT 能夠?qū)⒂?xùn)練范式從監(jiān)督微調(diào)中的數(shù)據(jù)縮放（data scaling），轉(zhuǎn)變?yōu)獒槍μ囟ǘ嗄B(tài)任務(wù)量身定制的可變獎勵函數(shù)的戰(zhàn)略設(shè)計。

可驗證獎勵和視覺感知能力（例如檢測、定位、分類）的協(xié)同結(jié)合，讓研究人員所使用的模型能夠通過詳細的推理過程，快速且高效地掌握新概念。

（來源：arXiv）

Visual-RFT：讓 Qwen2 VL 學(xué)會批判性思維

據(jù)介紹，研究人員采用少樣本學(xué)習(xí)方法，為模型提供最少數(shù)量的樣本進行訓(xùn)練。對于圖像分類和目標(biāo)檢測任務(wù)，采用小樣本設(shè)置來評估模型的細粒度判別和識別能力，在有限的數(shù)據(jù)上應(yīng)用強化學(xué)習(xí)。

然后，針對注重推理基礎(chǔ)、需要強大推理能力的 LISA 數(shù)據(jù)集，使用 Visual-RFT 訓(xùn)練模型并評估其推理性能和感知性能。

同時，對于開放詞匯表對象檢測，研究人員通過在包含 65 個基類的細分 COCO 數(shù)據(jù)集上使用 Visual-RFT 訓(xùn)練 Qwen2-VL-2/7B，來評估模型的泛化能力。

然后，在 COCO 數(shù)據(jù)集的 15 個新類別和 LVIS 的 13 個罕見類別上進行測試。

需要說明的是，該模型的視覺感知和推理能力是在開放的詞匯檢測環(huán)境中進行評估的。

實驗中，研究人員首先提示模型檢查圖像中是否存在類別，然后預(yù)測圖像中存在的類別的邊界框。

首先，研究人員進行了小樣本分類實驗。

為了展示 Visual-RFT 在視覺領(lǐng)域的廣泛泛化能力，研究人員在細粒度圖像分類上進行少樣本實驗。

研究人員選擇了四個數(shù)據(jù)集：Flower102、Pets37、FGVCAircraft 和 Car196，它們包含數(shù)十到數(shù)百個類似的類別，因此這一分類任務(wù)的難度較大。

結(jié)果顯示，僅需一次數(shù)據(jù)，Visual-RFT 就可以顯著提高性能（+24.3%）。

（來源：arXiv）

相比之下，在相同的最小數(shù)據(jù)量下，監(jiān)督微調(diào)顯示出明顯的下降（-4.3%）。在 4-shot 設(shè)置下，監(jiān)督微調(diào)的性能仍略低于基線，而使用 Visual-RFT 的強化微調(diào)模型的平均性能提高了 25.9。

在 8-shot 和 16-shot 設(shè)置下，隨著數(shù)據(jù)量的增加，監(jiān)督微調(diào)的性能略微超過基線。

然而，監(jiān)督微調(diào)的性能仍然明顯落后于 Visual-RFT。如下圖，研究人員展示了在處理細粒度分類任務(wù)時，經(jīng)過強化微調(diào)后模型的一些推理案例。

（來源：arXiv）

這些結(jié)果不僅證明了 Visual-RFT 的強大泛化能力及其從有限數(shù)據(jù)中學(xué)習(xí)的能力，而且證實了與監(jiān)督微調(diào)相比，強化微調(diào)可以真正理解任務(wù)并從推理中進行更深入的學(xué)習(xí)。

隨后，研究人員進行了小樣本物體檢測實驗。

小樣本學(xué)習(xí)一直是傳統(tǒng)視覺模型和大規(guī)模視覺語言模型面臨的核心挑戰(zhàn)之一。強化微調(diào)為該問題提供了新的解決方案，使模型能夠利用少量數(shù)據(jù)快速學(xué)習(xí)和理解。

研究人員從 COCO 數(shù)據(jù)集中選擇了 8 個類別，每個類別有 1、2、4、8 和 16 幅圖像，以構(gòu)建數(shù)據(jù)有限的訓(xùn)練集。

對于 LVIS 數(shù)據(jù)集，研究人員選擇了 6 個罕見類別。

由于這些罕見類別的訓(xùn)練圖像非常稀疏，每個類別有 1 到 10 張圖像，將其近似為 10-shot 設(shè)置。

然后，研究人員使用強化微調(diào)和監(jiān)督微調(diào)對 Qwen2-VL-2/7B 模型進行 200 步訓(xùn)練，以評估模型在有限數(shù)據(jù)下的學(xué)習(xí)能力。雖然監(jiān)督微調(diào)和強化微調(diào)都能提升模型在小樣本設(shè)置下的識別準(zhǔn)確率，但強化微調(diào)后的模型表現(xiàn)始終大幅優(yōu)于監(jiān)督微調(diào)模型，保持了顯著的領(lǐng)先優(yōu)勢。

在 COCO 類別中，隨著訓(xùn)練數(shù)據(jù)的增加，監(jiān)督微調(diào)模型的平均精度均值約為 31，而強化微調(diào)模型接近 47。

在 LVIS 小樣本實驗結(jié)果中，對于 LVIS 中六個更具挑戰(zhàn)性的罕見類別，強化微調(diào)仍然優(yōu)于監(jiān)督微調(diào)。

（來源：arXiv）

實驗結(jié)果清晰地展現(xiàn)了強化微調(diào)在少樣本設(shè)置下的優(yōu)異性能，讓模型僅通過少量數(shù)據(jù)就能通過強化學(xué)習(xí)實現(xiàn)視覺感知能力的顯著提升。

研究人員進一步測試了一些抽象的域外數(shù)據(jù)集。具體來說，其選擇了 MG（Monster Girls）數(shù)據(jù)集，其中包含不同類型的動漫風(fēng)格怪物女孩。通過使用域外數(shù)據(jù)，增加了模型識別和推理的難度，并在 4-shot 和 16-shot 設(shè)置下進行了實驗。結(jié)果表明，強化微調(diào)取得了顯著的性能提升，超過了監(jiān)督微調(diào)。

（來源：arXiv）

接著，研究人員進行了推理依據(jù)實驗。

視覺語言智能的另一個關(guān)鍵方面是根據(jù)用戶需求確定精確的對象。

此前的專業(yè)檢測系統(tǒng)缺乏推理能力，無法完全理解用戶的意圖。

在 LISA 訓(xùn)練集的幫助下，人們已經(jīng)開展了多項工作，使得大型語言模型能夠為其他模型輸出控制 tokens 或通過監(jiān)督微調(diào)直接預(yù)測邊界框坐標(biāo)。

在本次研究中，研究人員探索了 Visual-RFT 在這項任務(wù)中的能力，借此發(fā)現(xiàn)強化學(xué)習(xí)比監(jiān)督微調(diào)有著顯著改進。

具體來說，研究人員使用 Visual-RFT 和監(jiān)督微調(diào)針對 LISA 訓(xùn)練集上的 Qwen2 VL 2B/7B 模型進行微調(diào)，該訓(xùn)練集由 239 幅具有真實推理對象的圖像組成。

研究人員遵循與 LISA 相同的測試設(shè)置，并比較監(jiān)督微調(diào)和本次的結(jié)果，兩者都經(jīng)過了 500 步微調(diào)。

與監(jiān)督微調(diào)相比，Visual-RFT 在邊界框聯(lián)合交叉方面顯著提高了最終結(jié)果。

（來源：arXiv）

此外，研究人員使用 Qwen2 VL 預(yù)測邊界框提示 SAM 來生成分割掩碼。

借此發(fā)現(xiàn)，Visual-RFT 能夠顯著增強了定位能力，并且優(yōu)于之前的專用檢測系統(tǒng)。

其中，模型在思維過程中顯著提高了推理能力和定位準(zhǔn)確性。

（來源：arXiv）

通過 Visual-RFT，Qwen2 VL 學(xué)會了批判性思維，并能夠通過仔細檢查圖像來產(chǎn)生準(zhǔn)確的結(jié)果。

為了進一步證明強化微調(diào)的泛化能力，研究人員進行了開放詞匯對象檢測實驗。

Visual-RFT 相對于監(jiān)督微調(diào)的優(yōu)勢在于，前者對于任務(wù)有著真正深入的理解，而不僅僅是記住數(shù)據(jù)。為此，研究人員首先從 COCO 數(shù)據(jù)集中隨機抽取了 6K 個注釋，其中包括 65 個基本類別。

研究人員使用這些數(shù)據(jù)對 Qwen2-VL-2/7B 模型進行了可視化強化微調(diào)和監(jiān)督微調(diào)，并在 15 個以前從未見過的新類別上對模型進行了測試。

為了增加難度，研究人員進一步測試了 LVIS 數(shù)據(jù)集中的 13 個罕見類別。

經(jīng)過強化微調(diào)后，Qwen2-VL-2/7B 模型在 COCO 數(shù)據(jù)集中的 15 個新類別上實現(xiàn)了平均精度均值增加 21.5 和 9.5。

在 LVIS 數(shù)據(jù)集中更具挑戰(zhàn)性的罕見類別中，平均精度均值分別增加了 18.0 和 14.7。

Visual-RFT 不僅將其檢測能力從 COCO 基本類別轉(zhuǎn)移到新的 COCO 類別，而且在更具挑戰(zhàn)性的罕見 LVIS 類別上也取得了重大改進。

值得注意的是，對于下表中的一些罕見的 LVIS 類別，原始模型或監(jiān)督微調(diào)訓(xùn)練的模型無法識別這些類別，導(dǎo)致 AP 值為 0。

（來源：arXiv）

然而，經(jīng)過強化微調(diào)后，該模型在識別這些以前無法識別的類別（如蛋卷和蒲團）方面顯示出從 0 到 1 的質(zhì)的飛躍。這表明 Visual-RFT 對于提高大型視覺語言模型視覺識別的性能和泛化能力具有重大影響。

可以說，Visual-RFT 代表了微調(diào)大型視覺語言模型的范式轉(zhuǎn)變，它提供了一種數(shù)據(jù)高效、獎勵驅(qū)動的方法，增強了特定領(lǐng)域任務(wù)的推理和適應(yīng)性。它成功地擴展了強化微調(diào)，使大型視覺語言模型能夠在各種多模態(tài)任務(wù)中使用，例如用于少樣本分類和開放詞匯目標(biāo)檢測之中。目前，研究人員已經(jīng) Github 上完全開源了訓(xùn)練代碼、訓(xùn)練數(shù)據(jù)和評估腳本。

參考資料：

https://arxiv.org/pdf/2503.01785

https://github.com/Liuziyu77/Visual-RFT

運營/排版：何晨龍