近年來(lái)，多模態(tài)指令數(shù)據(jù)合成方法多依賴(lài)人工設(shè)計(jì)復(fù)雜的合成提示詞（prompt），耗費(fèi)大量人力與時(shí)間成本。在文本數(shù)據(jù)合成領(lǐng)域，MAGPIE [1] 是一個(gè)非常成功的合成方法，該方法無(wú)需用戶(hù)提供任何 prompt，僅以 <|im_start|> 這類(lèi)特殊 token 作為模型輸入，即可完成數(shù)據(jù)合成。

受啟發(fā)于 MAGPIE，本文中來(lái)自同濟(jì)大學(xué)、字節(jié)跳動(dòng)和愛(ài)丁堡大學(xué)的研究者提出了一種新型多模態(tài)指令數(shù)據(jù)合成方法，只需用戶(hù)提供圖片（即，VLM 中常用的特殊 token ），Oasis 會(huì)自動(dòng)完成指令合成、質(zhì)量控制和回復(fù)生成，產(chǎn)出高質(zhì)量的數(shù)據(jù)。

同時(shí)，為了支持進(jìn)一步研究，該研究提供了一個(gè)全新的開(kāi)源代碼庫(kù) MM-INF，該庫(kù)涵蓋了 Oasis 和一些常用的多模態(tài)數(shù)據(jù)合成方法，并不斷進(jìn)行更新維護(hù)，歡迎大家試用并提供寶貴的反饋意見(jiàn)。

• 論文鏈接：https://arxiv.org/abs/2503.08741
• 代碼鏈接：https://github.com/Letian2003/MM_INF
• 數(shù)據(jù)集鏈接：https://huggingface.co/datasets/WonderThyme/Oasis

研究動(dòng)機(jī)

上圖展示了常用數(shù)據(jù)合成鏈路與 Oasis 的流程對(duì)比，常用的數(shù)據(jù)鏈路可能會(huì)存在以下三類(lèi)問(wèn)題：

1. 多樣性缺失：大量方法依賴(lài)固定不變的提示詞與合成流程，嚴(yán)重限制了數(shù)據(jù)的覆蓋范圍與難度層次，導(dǎo)致生成數(shù)據(jù)同質(zhì)化嚴(yán)重；
2. 質(zhì)量不足：現(xiàn)有技術(shù)難以穩(wěn)定產(chǎn)出能顯著提升多模態(tài)大語(yǔ)言模型（MLLMs）表征能力的高質(zhì)量合成數(shù)據(jù)，多數(shù)研究不得不退而求其次，采用基于圖像描述（caption）的二次生成策略，效果與效率均不理想；
3. 依賴(lài)人工：流程繁瑣且成本高企。即便看似 「一站式」的合成框架，在關(guān)鍵環(huán)節(jié)（如設(shè)計(jì)數(shù)據(jù)模式、編寫(xiě)提示詞等）仍需大量人工參與，不僅費(fèi)時(shí)費(fèi)力，還使整個(gè)數(shù)據(jù)合成過(guò)程低效且繁瑣。

本文提出的Oasis 僅依靠圖像生成數(shù)據(jù)，打破了依賴(lài)預(yù)設(shè)文本提示詞（ + [text prompt]）的傳統(tǒng)多模態(tài)輸入模式。 該方法誘導(dǎo)強(qiáng)大的 MLLM 僅基于輸入的圖像（作為 < image> token 輸入），利用其自身的知識(shí)和自回歸特性，自主生成多樣化、與圖像內(nèi)容相關(guān)的指令。完全不需要人工提供任何前置的文本提示詞。研究者深入分析了高質(zhì)量指令應(yīng)具備的屬性，并據(jù)此精心設(shè)計(jì)了一系列篩選標(biāo)準(zhǔn)，用于自動(dòng)過(guò)濾掉生成指令中的低質(zhì)量數(shù)據(jù)。

方法介紹

概述

方法如上圖所示，主要有三個(gè)步驟：

1. 構(gòu)造 「鉤子提示詞（hooking prompt）」以誘導(dǎo)模型進(jìn)行自回歸采樣；
2. 對(duì)采樣結(jié)果進(jìn)行分類(lèi)，只保留指令型采樣結(jié)果；
3. 進(jìn)行指令質(zhì)量控制 & 回復(fù)生成。

我們以 Qwen2-VL 為例，詳細(xì)介紹這三個(gè)步驟。

第一步：構(gòu)造 「hooking prompt」 誘導(dǎo)模型進(jìn)行自回歸采樣

以圖像描述為例，一個(gè)典型的 MLLM 輸入為 「<|im_start|>User\nDescribe the image.<|im_end|>\n<|im_start|>Assisstant」，MLLM 感知到當(dāng)前的 role 為 Assistant 后，會(huì)生成關(guān)于指令的回復(fù)。

我們提取完整輸入中的前綴 「<|im_start|>User\n」，送入到 VLM 中進(jìn)行采樣，由此生成的回復(fù)是不受任何人為 bias 影響的，唯一的 condition 是圖片自身；

在采樣過(guò)程中，生成的數(shù)據(jù)大致可分為兩類(lèi)：指令型（instruction-following）和描述型（caption），這一現(xiàn)象可以通過(guò)交錯(cuò)的多模態(tài)語(yǔ)言模型（MLLM）圖像 - 文本訓(xùn)練過(guò)程來(lái)解釋。

第二步：采樣結(jié)果分類(lèi)

為了僅篩選出指令數(shù)據(jù)用于后續(xù)工作，我們?cè)O(shè)計(jì)了一種分類(lèi)機(jī)制將數(shù)據(jù)歸入指令型和描述型兩類(lèi)。

具體而言，我們驅(qū)動(dòng)一個(gè)大語(yǔ)言模型（LLM）作為分類(lèi)器來(lái)預(yù)測(cè)類(lèi)別。若包含指令，則將其分類(lèi)為指令遵循型數(shù)據(jù)，并從中提取一條指令；否則，將其分類(lèi)為描述型數(shù)據(jù)并舍棄。我們采用 few-shot 策略以提高分類(lèi)精度，完整的提示詞模板見(jiàn)附錄。

對(duì)于分類(lèi)為指令型的采樣結(jié)果，我們會(huì)進(jìn)行質(zhì)量控制和回復(fù)生成。

第三步：質(zhì)量控制 & 回復(fù)生成

我們從指令的 可解性 / 清晰度 / 幻覺(jué)程度 / 無(wú)意義性 四個(gè)角度，對(duì)指令進(jìn)行篩選，通過(guò)篩選的指令會(huì)用 Qwen2-VL 進(jìn)行回復(fù)生成，組成一條完整的 「指令 - 回復(fù)」 訓(xùn)練數(shù)據(jù)；

每個(gè)維度均采用 1-5 級(jí)評(píng)分（1 分表示最差，5 分表示最優(yōu)）：

1. 可解性 (Solvability)：評(píng)估圖像是否提供足夠的信息來(lái)全面回答問(wèn)題。如果圖像缺失關(guān)鍵細(xì)節(jié)（如對(duì)象或上下文），指令可能無(wú)法被完全解決。
2. 清晰度 (Clarity)：評(píng)價(jià)問(wèn)題傳達(dá)意圖的精確程度。指令應(yīng)避免模糊性，確保能得出明確答案（例如，避免開(kāi)放式或含糊的表述）。
3. 幻覺(jué)程度 (Hallucination)：衡量問(wèn)題內(nèi)容與圖像實(shí)際內(nèi)容的一致性。指令需避免引入圖像中不存在的信息（如虛構(gòu)對(duì)象或場(chǎng)景）。
4. 無(wú)意義性 (Nonsense)：檢查問(wèn)題在語(yǔ)法、連貫性和語(yǔ)義上的合理性。指令必須通順、有意義，避免錯(cuò)誤如語(yǔ)法混亂或邏輯矛盾。

具體的篩選細(xì)節(jié)見(jiàn)附錄。另外，我們?cè)谙趯?shí)驗(yàn)中發(fā)現(xiàn)回復(fù)的質(zhì)量控制是無(wú)效的，只對(duì)指令做質(zhì)量控制即可。

Oasis-500k

我們基于 Cambrian-10M [2] 的圖片，進(jìn)行數(shù)據(jù)生產(chǎn)，最后合成約 500k 的訓(xùn)練數(shù)據(jù)，稱(chēng)之為 Oasis-500k；由于 Oasis 的生產(chǎn)只依賴(lài)圖片，所以只要圖片的數(shù)量是足夠的，Oasis 可以輕松進(jìn)行 Scaling，數(shù)據(jù)量級(jí)隨著時(shí)間是線性增長(zhǎng)的。

數(shù)據(jù)特性分析

我們對(duì) Oasis 合成的數(shù)據(jù)和開(kāi)源常用的指令數(shù)據(jù) LLaVA-NeXT 進(jìn)行了一系列屬性的對(duì)比，包括指令和回復(fù)的長(zhǎng)度、語(yǔ)言類(lèi)型、動(dòng)名詞組合等。

指令和回復(fù)的長(zhǎng)度

如上表所示，從指令和回復(fù)的平均長(zhǎng)度來(lái)看，Oasis 數(shù)據(jù)均長(zhǎng)于LLaVA-NeXT，且整體標(biāo)準(zhǔn)差更大。更長(zhǎng)的長(zhǎng)度表明 Oasis 數(shù)據(jù)可能包含更豐富的信息，而更大的標(biāo)準(zhǔn)差則說(shuō)明其數(shù)據(jù)任務(wù)更多元。

語(yǔ)言類(lèi)型

得益于該方法的自回歸特性，基于圖像的自回歸過(guò)程不會(huì)引入顯式語(yǔ)言偏差，因此生成的指令覆蓋廣泛語(yǔ)種。借助 langdetect 庫(kù)，對(duì) Oasis-500k 數(shù)據(jù)的語(yǔ)言類(lèi)型分布進(jìn)行可視化分析發(fā)現(xiàn)：除英文（78.52%）和中文（18.66%）外，還包含韓語(yǔ)、挪威語(yǔ)、越南語(yǔ)、法語(yǔ)、德語(yǔ)等小語(yǔ)種，語(yǔ)言多樣性顯著。

動(dòng)詞名詞組合

基于 spaCy 庫(kù)，解析了數(shù)據(jù)集的根動(dòng)詞（root verbs）與高頻名詞對(duì)象（top noun objects，即出現(xiàn)頻率超過(guò) 1% 的根動(dòng)詞及與其關(guān)聯(lián)的前 3 位名詞對(duì)象）。上圖展示了兩類(lèi)數(shù)據(jù)中最常見(jiàn)的根動(dòng)詞及對(duì)應(yīng)名詞對(duì)象分布，相較 LLaVA-NeXT，Oasis 數(shù)據(jù)的根動(dòng)詞具有以下優(yōu)勢(shì)：

• 表達(dá)自然性：覆蓋更自然實(shí)用、信息量更豐富的動(dòng)詞語(yǔ)匯；
• 對(duì)象多樣性：高頻名詞對(duì)象呈現(xiàn)更豐富的語(yǔ)義分布。

值得注意的是，LLaVA-NeXT 對(duì) 「answer question」 組合的高度依賴(lài)，反映出其在任務(wù)設(shè)計(jì)上可能過(guò)度偏重問(wèn)答（QA）場(chǎng)景。

數(shù)據(jù)示例

Oasis 數(shù)據(jù)集的示例如圖所示，可見(jiàn) Oasis 的指令生成能力很強(qiáng)，可基于圖像主題生成細(xì)節(jié)豐富且信息密度高的指令。另外生成的任務(wù)覆蓋廣度好，涵蓋跨領(lǐng)域任務(wù)場(chǎng)景，如目標(biāo)識(shí)別（Object Recognition）、場(chǎng)景描述（Scene Description）和代碼理解（Code Comprehension）等。這些可視化同樣佐證了前文關(guān)于數(shù)據(jù)多樣性的觀點(diǎn)。

實(shí)驗(yàn)結(jié)果

Oasis 有效性

我們將 LLaVA-NeXT 設(shè)置為 baseline，在其 SFT 數(shù)據(jù)上做增量改進(jìn)，觀察相對(duì)于 baseline 的提升。我們?cè)?14 個(gè) benchmark 上對(duì)基于 Oasis 訓(xùn)練的 MLLM 進(jìn)行了全面評(píng)估。

如上表所示，Oasis 作為基線的增量數(shù)據(jù)引入，較基線實(shí)現(xiàn)全面且顯著的性能提升。

在 Vicuna1.5/Qwen2.5/Llama3 等基座網(wǎng)絡(luò)上，平均提升分別 3.1%/1.8%/3.2%；以 Vicuna-7B-v1.5 為例，通用知識(shí) MMBench-EN/CN 準(zhǔn)確率提升 + 1.4% / +2.3%；OCR 任務(wù) TextVQA 與 OCRBench 精度分別提高 2.7% 和 2.1%；在文檔分析任務(wù)上較基線提升 4.3% 和 6.3%；

上述結(jié)果不僅證明了合成數(shù)據(jù)的多樣性，更揭示了 Oasis 在增強(qiáng) MLLM 泛化能力上的有效性。

對(duì)比其他合成方法

除了 Oasis 數(shù)據(jù)，我們引入了 4 種增量改進(jìn)，來(lái)進(jìn)一步說(shuō)明 Oasis 的有效性。

1. Oasis 圖片的原始標(biāo)注數(shù)據(jù)（指令 + 回復(fù)），驗(yàn)證 SFT 圖片多樣性增加的影響；
2. LLaVA-NeXT 原始 SFT 數(shù)據(jù)的上采樣，排除數(shù)據(jù)量級(jí)對(duì)效果的影響；
3. MMEvol 數(shù)據(jù) [3]
4. DenseFusion-1M 數(shù)據(jù) [4]

如上表所示，Oasis 作為增量數(shù)據(jù)引入時(shí)，依然表現(xiàn)出了更好的綜合性能，再一次佐證關(guān)于數(shù)據(jù)多樣性的觀點(diǎn)；

數(shù)據(jù) Scaling 效果

我們基于 100k 的 LLaVA-NeXT 數(shù)據(jù)，對(duì) Oasis 的數(shù)據(jù)量進(jìn)行了 3 組 Scaling 實(shí)驗(yàn)，即，在 LLaVA-100k 的基礎(chǔ)上分別加入 150k/300k/500k 的 Oasis 合成數(shù)據(jù)。整體趨勢(shì)上來(lái)看，Oasis 數(shù)據(jù)量從 0 增至 500k 的過(guò)程中，模型性能穩(wěn)定提升，添加 500k 條 Oasis 數(shù)據(jù)后，平均得分提高 5.2%；300k→500k 帶來(lái)了 + 4.0% 的顯著增益，也進(jìn)一步說(shuō)明該數(shù)據(jù)的可擴(kuò)展性；

垂域數(shù)據(jù)合成能力

受益于 Oasis 只依賴(lài)圖片輸入的特性，它非常善于合成垂類(lèi)的數(shù)據(jù)。我們以 OCR 為例，驗(yàn)證 Oasis 在垂域數(shù)據(jù)合成上的有效性。我們從 Cambrian-10M 中篩選出了 24 個(gè)和 OCR 相關(guān)的數(shù)據(jù)集（共 311k 圖片），然后基于這些圖片進(jìn)行 Oasis 數(shù)據(jù)合成了 70k 的垂域訓(xùn)練數(shù)據(jù)。如上表所示，這份 OCR 垂域數(shù)據(jù)在 OCR 相關(guān)的 benchmark 上帶來(lái)了非常明顯的提升。另外如上圖所示，Oasis 合成的數(shù)據(jù)不僅僅關(guān)注文字提取任務(wù)，同樣也考察了模型對(duì)于上下文的理解、屬性推理等能力。

消融實(shí)驗(yàn)

描述數(shù)據(jù)的回收利用

在數(shù)據(jù)合成流程的第二步中，我們使用了 LLM 來(lái)對(duì)第一步中模型自回歸采樣出的數(shù)據(jù)進(jìn)行篩選，去掉 caption 類(lèi)型的數(shù)據(jù)。這一步的通過(guò)率為 49.9%，占比約一半的 caption 類(lèi)型數(shù)據(jù)被丟棄，這導(dǎo)致合成效率受到較大的影響。

因此，我們采用一些策略來(lái)對(duì)此類(lèi) caption 數(shù)據(jù)進(jìn)行回收利用。首先，我們使用一些規(guī)則來(lái)對(duì)數(shù)據(jù)中的特殊字段（如亂碼等）進(jìn)行去除。然后，我們使用 Qwen2.5-72B-Instruct LLM 來(lái)對(duì) caption 數(shù)據(jù)的質(zhì)量進(jìn)行三個(gè)維度評(píng)估，最終我們得到了約 250k 的高質(zhì)量 caption，并與 LLaVA 論文中給出的圖像詳細(xì)描述指令進(jìn)行隨機(jī)匹配。

我們?cè)谠嫉?OASIS 數(shù)據(jù)上額外加入這 250k 數(shù)據(jù)進(jìn)行訓(xùn)練，如上表所示，加入 caption 后多數(shù)指標(biāo)有上升，并帶來(lái)了總體 0.3% 的提升。這說(shuō)明我們可以低成本地回收利用數(shù)據(jù)合成過(guò)程中被丟棄的數(shù)據(jù)，并帶來(lái)額外的實(shí)驗(yàn)收益。

指令質(zhì)量控制的必要性

在完成數(shù)據(jù)分類(lèi)之后，我們對(duì)指令質(zhì)量進(jìn)行了控制，從四個(gè)維度篩除低質(zhì)量指令：可解性、清晰度、幻覺(jué)成都和無(wú)意義內(nèi)容。為了評(píng)估這一質(zhì)量控制機(jī)制對(duì)數(shù)據(jù)質(zhì)量和模型性能的影響，我們進(jìn)一步進(jìn)行了消融實(shí)驗(yàn)。

具體來(lái)說(shuō)，我們使用經(jīng)過(guò)質(zhì)量控制和未經(jīng)質(zhì)量控制的 20 萬(wàn)條數(shù)據(jù)分別訓(xùn)練模型，比較所得模型的性能。在質(zhì)量篩選過(guò)程中，高質(zhì)量指令的接受率為 50.9%，因此，未經(jīng)質(zhì)量控制的 20 萬(wàn)條數(shù)據(jù)中，會(huì)包含約 10 萬(wàn)條 「低質(zhì)量」 指令。

根據(jù)上表第二部分展示的實(shí)驗(yàn)結(jié)果。在應(yīng)用質(zhì)量控制機(jī)制的情況下，模型整體性能顯著提升了 1%。在 DocVQA 和 InfoVQA 這兩個(gè)任務(wù)中，模型性能分別提升了超過(guò) 7%。這一結(jié)果充分證明了在 Oasis 框架中，數(shù)據(jù)質(zhì)量控制機(jī)制是非常必要的。

回復(fù)質(zhì)量控制的必要性

為探究響應(yīng)質(zhì)量控制的必要性，我們嘗試了兩種低質(zhì)量響應(yīng)過(guò)濾方法：

1. 負(fù)對(duì)數(shù)似然（NLL）拒絕采樣法：對(duì)每條指令采樣 5 個(gè)回復(fù)，計(jì)算其負(fù)對(duì)數(shù)似然，保留置信度最高的回復(fù)作為最終輸出（參考 [5]）；
2. 多模態(tài)大語(yǔ)言模型（MLLM）評(píng)分法：使用 Qwen2-VL-72B-Instruct 模型從有用性（helpfulness）、真實(shí)性（truthfulness）、指令遵循性（instruction-following）三個(gè)維度進(jìn)行 1-5 分評(píng)分，過(guò)濾未獲滿(mǎn)分（5 分）的回復(fù)。

如上表所示，證明兩種方法均導(dǎo)致模型平均得分下降（-0.7% 與 -1.6%），證明對(duì)回復(fù)做質(zhì)量控制無(wú)效甚至有害。高質(zhì)量指令本身即可驅(qū)動(dòng) MLLM 生成高質(zhì)量的回復(fù)，引入對(duì)回復(fù)的質(zhì)量控制可能會(huì)引入額外的人為 bias；

開(kāi)源代碼庫(kù) MM-INF

• 代碼鏈接：https://github.com/Letian2003/MM_INF

該研究還開(kāi)源了一個(gè)數(shù)據(jù)合成的 codebase MM-INF。該 codebase 依托于開(kāi)源代碼庫(kù) ms-swift [6] 實(shí)現(xiàn)了一個(gè)數(shù)據(jù)合成引擎，可以串聯(lián)起若干個(gè)基于 LLM/VLM 的數(shù)據(jù)合成步驟。代碼庫(kù)內(nèi)涵蓋了 Oasis 的實(shí)現(xiàn)以及一些常用的多模態(tài)數(shù)據(jù)合成鏈路（如圖片描述、基于描述生成 QA 等），歡迎大家試用并提供寶貴的反饋意見(jiàn)。

參考文獻(xiàn)

[1] Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing, ICLR 2025.

[2] Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs, NeurIPS 2024.

[3] MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct, arxiv 2409.05840.

[4] DenseFusion-1M: Merging Vision Experts for Comprehensive Multimodal Perception, NeurIPS 2024.

[5] SimPO: Simple preference optimization with a reference-free reward, NeurIPS 2024.

[6] https://github.com/modelscope/ms-swift