• 時令 發(fā)自 凹非寺
  量子位 | 公眾號 QbitAI

如果你以為AI寫作產(chǎn)生的內(nèi)容都一樣，那可能要顛覆認知了。

最新研究發(fā)現(xiàn)，只要在AI開寫前由人類提供一個開頭或者隨機插入一些詞匯，寫作效果會更具多樣性。

也就是說，AI寫作同質(zhì)化不是模型本身存在缺陷，更可能是“啟動條件”有問題。

實驗結(jié)果顯示，在Short Stories數(shù)據(jù)集上，人類的文體特征方差最低，表明人類在該數(shù)據(jù)集寫作風格較為統(tǒng)一，而模型則表現(xiàn)出更豐富的風格多樣性。

比如在最新的GPT-5里讓它用相同提示詞續(xù)寫同一段文章。

• 你是一位創(chuàng)意寫作助手。請為以下故事續(xù)寫一個引人入勝的結(jié)尾。 以下是故事的上半部分。請你寫出與其長度相當?shù)南掳氩糠帧?/li>
• {第一次見到7號記憶體時，它的數(shù)據(jù)流里飄著槐花香。我調(diào)整著全息投影儀的焦距，那些半透明的淡紫色光點便從操作臺上漫出來，在無菌實驗室的空氣中凝結(jié)成模糊的樹影……}

結(jié)果卻是不太一樣哎～

那此研究到底是如何證明AI寫作并不趨同的呢？我們接著了解更多細節(jié)。

創(chuàng)建三類同質(zhì)化評價指標

以往研究普遍認為，大型語言模型在詞匯、句法和語義等方面生成的文本，比起同等規(guī)模的人類作品，表現(xiàn)出明顯的多樣性不足。

這引發(fā)了“創(chuàng)造力模式崩潰”的猜測，認為LLM的創(chuàng)意空間遠不如人類廣闊，甚至擔心未來人機協(xié)作會讓觀點變得千篇一律、雷同無趣。

然而，大多數(shù)關于語義多樣性的評測都停留在單一指標的不同變體上，缺乏足夠的實證支持，難以揭示真實的創(chuàng)作多樣性。

因此，此研究提出了一套新的評估指標和數(shù)據(jù)集，用以對語言模型的語料庫級多樣性進行基準測試。

數(shù)據(jù)抓取

本研究主要分析短篇小說散文，文本來源于Reddit網(wǎng)站的兩個子版塊：r/shortstories和r/WritingPrompts，帖子按照Top排序順序獲取。

在r/WritingPrompts板塊，研究人員提取了100個寫作提示帖子及其最多10條一級回復，將這些回復視為人類寫作的續(xù)寫內(nèi)容，用于分析每個提示對應的多個人類續(xù)寫。

在r/shortstories板塊，他們收集了100篇獨立的敘事文本，用來評估人類與模型生成故事在整體風格和結(jié)構(gòu)上的相似性。

創(chuàng)建語料庫

數(shù)據(jù)清

對兩個數(shù)據(jù)集中的人類寫作文本，他們篩選了長度介于500字至2000字之間的故事。

對于寫作提示數(shù)據(jù)集，若某個提示對應的人類續(xù)寫超過10篇，他們只保留投票數(shù)最高的前10篇，以避免每個提示下故事數(shù)量差異過大，同時保證人類寫作質(zhì)量。

模型續(xù)寫生成

除非另有說明，模型續(xù)寫均采用固定溫度0.8、top-p為1，并使用基礎系統(tǒng)提示。詳細的實驗設置和提示內(nèi)容見附錄B。

同質(zhì)化指標

文本同質(zhì)化是通過不同的維度來衡量的，主要分為以下三類。

文體風格同質(zhì)化

文體學通過分析作者獨特的語言習慣（如詞匯和語法特點）來識別寫作風格。

為了衡量整個文本集合的多樣性，研究者采用了Unique-N指標（衡量重復短語的比例）并計算了文體特征的方差，以評估語料庫的風格多樣性。

語義同質(zhì)化

研究通過計算文本嵌入向量的平均相似度，利用多層級、多種嵌入方法分析語料庫中的語義多樣性，并通過比較不同層級的嵌入離散度變化，有效區(qū)分了風格差異和語義差異。

情感同質(zhì)化

研究還利用VADER工具對人類和模型生成的故事進行情感分析，比較了二者情感表達的分布差異，以此作為評估文本多樣性的重要維度。

AI寫作情感更偏向正面

首先分析文體風格同質(zhì)化指標，在Writing Prompts數(shù)據(jù)集中，人類的多樣性得分明顯高于其他模型。

但有趣的是，這個模式在Short Stories數(shù)據(jù)集中并不成立：這里人類文本仍然擁有較高的Unique-N得分，卻在所有模型中表現(xiàn)出最低的文體特征方差。作者分析可能是因為前者擁有更為多樣化或更高水平的寫作群體。

另外需要注意的是，在Writing Prompts數(shù)據(jù)集中，模型獲得了更多關于人類作者的上下文信息，它會接收作者50%的故事內(nèi)容作為提示，而在Short Stories數(shù)據(jù)集中，提示僅有幾句話。

其次是關于語義同質(zhì)化，研究通過比較人類與語言模型在相同寫作提示下的文本嵌入相似度，發(fā)現(xiàn)人類作品語義多樣性更高，而模型生成文本更趨同，反映出模型存在同質(zhì)化傾向。

但需要注意的是，用于生成嵌入的MiniLM模型最大輸入長度為256個token，超過該長度的文本會被截斷，這可能導致較長續(xù)寫中的重要信息被遺漏，從而影響相似度的測量。

為評估這一限制的影響，研究者還使用了最大輸入長度為512個token的BGE和E5嵌入模型進行分析。

可以看出，盡管各模型中模型內(nèi)部相似度普遍高于人類的趨勢依舊明顯，但絕對相似度數(shù)值顯著升高。

這一現(xiàn)象表明，更高維度的嵌入可能帶來更高的余弦相似度。不過它們之間的具體關系仍不清晰，尚需進一步研究以區(qū)分嵌入維度和真實語義相似度之間的影響。

最后是情感同質(zhì)化，情感得分s取值范圍為[-1, 1]，其中s>0.05表示正面情感，s<-0.05表示負面情感，s∈[-0.05, 0.05]表示中性情感。

可以觀察到，盡管大多數(shù)人類創(chuàng)作的故事呈現(xiàn)正面情感，但約有30%的故事帶有負面情感，顯示出較為豐富且多樣的情感表現(xiàn)。

相比之下，LLM生成的故事情感更偏向正面。

為進一步研究多少上下文信息能促使模型產(chǎn)生更多樣化的輸出，研究者在提示中提供不同長度的人類創(chuàng)作內(nèi)容。

下表分別展示了采用30%和70%截取長度時的文體多樣性指標結(jié)果。

結(jié)果表明，這兩個截取長度對文體多樣性都影響不大，語義多樣性也沒有顯著變化。

因此，研究者探索的另一種方法是在系統(tǒng)提示中加入隨機單詞。

他們使用google-10000-english-no-swears詞表，對其中的單詞進行詞性標注，只保留名詞、形容詞、副詞和動詞這幾類詞匯。

每次生成時，隨機抽取5個單詞，附加在提示語“here is a list of random words to take inspiration from”后面。

結(jié)果表明，盡管模型生成文本的多樣性仍低于人類，但所有模型在各項指標上的多樣性得分均有所提升，說明向系統(tǒng)提示中注入隨機詞匯確實有助于提升模型輸出的文體多樣性。

未來，研究團隊將進一步探究提示中包含多少以及哪種類型的上下文，才能使模型輸出達到與人類短篇故事同等的多樣性。

論文鏈接：https://kiaghods.com/assets/pdfs/LLMHomogenization.pdf