新智元報(bào)道

編輯：KingHZ 桃子

【新智元導(dǎo)讀】新規(guī)第一天，DeepSeek第一時(shí)間站出來了！接下來，所有自家AI生成內(nèi)容，統(tǒng)統(tǒng)標(biāo)出「AI身份」。更勁爆的是，DeepSeek主動「交底」V3/R1的模型訓(xùn)練細(xì)節(jié)。

今天，網(wǎng)信辦《人工智能生成合成內(nèi)容標(biāo)識辦法》正式生效。

其中，第四條要求：對符合要求的AI生成合成內(nèi)容添加顯式標(biāo)識。

緊跟最新政策，DeepSeek出手了。

剛剛，DeepSeek官微發(fā)布了最新回應(yīng)公告——凡是AI生成的內(nèi)容，都會清楚標(biāo)注「AI生成」。

它還鄭重提醒，用戶嚴(yán)禁惡意刪除、篡改、隱匿標(biāo)識，更別提用AI傳播、制作虛假信息。

此外，這次還發(fā)布了《模型原理與訓(xùn)練方法說明》，可以一瞥DeepSeek的技術(shù)路徑。

接下來，深扒一下DeepSeek V3/R1的一些訓(xùn)練細(xì)節(jié)。

傳送門：https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html

回應(yīng)新要求，DeepSeek公開技術(shù)說明

DeepSeek主要介紹了大模型的訓(xùn)練和推理階段，包括預(yù)訓(xùn)練、優(yōu)化訓(xùn)練（微調(diào)）以及訓(xùn)練數(shù)據(jù)等。

不同大模型的神經(jīng)網(wǎng)絡(luò)架構(gòu)

模型訓(xùn)練

模型訓(xùn)練階段即模型的開發(fā)階段：通過設(shè)計(jì)好的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)和訓(xùn)練方法，開發(fā)人員開發(fā)出可被部署使用的模型。

模型由多層神經(jīng)網(wǎng)絡(luò)組成，不同的架構(gòu)直接影響模型的性能。此外，模型性能也受參數(shù)規(guī)模的制約，而訓(xùn)練的目的就是找到具體的參數(shù)值。

目前，大模型的參數(shù)規(guī)模數(shù)以億計(jì)。最新的DeepSeek-V3-0324，參數(shù)總量為6850億。

在訓(xùn)練過程中，這些參數(shù)通過梯度下降算法迭代優(yōu)化。

這次，DeepSeek把模型訓(xùn)練分為預(yù)訓(xùn)練和優(yōu)化訓(xùn)練兩個(gè)環(huán)節(jié)。

預(yù)訓(xùn)練：預(yù)訓(xùn)練目標(biāo)是通過數(shù)據(jù)訓(xùn)練模型，使模型掌握通用的語言理解與生成能力。

優(yōu)化訓(xùn)練：也稱為微調(diào)，是在預(yù)訓(xùn)練模型的基礎(chǔ)上通過特定任務(wù)的數(shù)據(jù)進(jìn)一步調(diào)整模型參數(shù)，使模型適應(yīng)實(shí)際應(yīng)用場景。

在預(yù)訓(xùn)練階段，模型通過大規(guī)模自監(jiān)督學(xué)習(xí)，從文本數(shù)據(jù)中學(xué)習(xí)語言模式與知識關(guān)聯(lián)。預(yù)訓(xùn)練完成后，模型能理解并生成連貫的文本，但還不會精準(zhǔn)地回答問題或執(zhí)行任務(wù)，因此需要進(jìn)一步的訓(xùn)練微調(diào)。

在優(yōu)化訓(xùn)練階段，模型一般通過SFT、RL等方法，學(xué)會根據(jù)指令回答問題，符合人類的偏好和需求，并激發(fā)在特定領(lǐng)域的專業(yè)能力。

經(jīng)過優(yōu)化訓(xùn)練的模型能更好地滿足實(shí)際需求，可被部署使用。

深挖訓(xùn)練「內(nèi)幕」，煉出最強(qiáng)大腦

DeepSeek模型的能力，是建立在高質(zhì)量、大規(guī)模、多樣化的數(shù)據(jù)之上。

在「預(yù)訓(xùn)練階段」和「優(yōu)化訓(xùn)練階段」，各有不同。

預(yù)訓(xùn)練階段

在預(yù)訓(xùn)練階段，主要使用了兩類數(shù)據(jù)：

互聯(lián)網(wǎng)公開可用的信息，比如網(wǎng)頁、公開文檔等。

與第三方合作獲取許可的數(shù)據(jù)

需要強(qiáng)調(diào)的是，在此階段，根本無需獲取個(gè)人信息用于訓(xùn)練，DeepSeek不會有意關(guān)聯(lián)至任何特定賬戶和個(gè)人，更不會主動將其用于訓(xùn)練模型。

不過，預(yù)訓(xùn)練數(shù)據(jù)規(guī)模過于龐大，可能偶然包含了一些個(gè)人信息。

對此，DeepSeek會通過技術(shù)手段，盡力篩查并移除這些信息，確保數(shù)據(jù)「干干凈凈」。

為了保證數(shù)據(jù)質(zhì)量、安全、多樣，他們還打造了一套硬核數(shù)據(jù)治理流程——

首先，通過「過濾器」自動剔除仇恨言論、色情低俗、暴力、垃圾信息，以及可能侵權(quán)的原始數(shù)據(jù)。

其次，通過算法+人工審核，識別并降低數(shù)據(jù)中的統(tǒng)計(jì)性偏見，讓模型更公平、更客觀。

優(yōu)化訓(xùn)練階段

到了優(yōu)化訓(xùn)練階段，一般需要通過人工或自動化的方式構(gòu)造、標(biāo)注一批問答對數(shù)據(jù)來對模型進(jìn)行訓(xùn)練。

DeepSeek這次表示：這些問答對數(shù)據(jù)是由研究團(tuán)隊(duì)生成提供的，其中少部分?jǐn)?shù)據(jù)的構(gòu)造可能會基于用戶的輸入。

在DeepSeek-R1訓(xùn)練中，研究人員直接提示模型生成包含反思和驗(yàn)證的詳細(xì)答案；收集并整理DeepSeek-R1-Zero的輸出，使其具有可讀性；以及通過人工注釋者的后期處理來提高數(shù)據(jù)質(zhì)量

如涉及利用用戶的輸入構(gòu)造訓(xùn)練數(shù)據(jù)，DeepSeek會對數(shù)據(jù)進(jìn)行安全加密技術(shù)處理、嚴(yán)格的去標(biāo)識化和匿名化處理，從而盡可能避免訓(xùn)練數(shù)據(jù)關(guān)聯(lián)到任何特定個(gè)人，且不會在模型給其他用戶的輸出中帶有個(gè)人信息，更不會將其用于用戶畫像或個(gè)性化推薦。

同時(shí)，DeepSeek為用戶提供了選擇退出的權(quán)利。

為了確保模型的安全性，在模型優(yōu)化訓(xùn)練階段，DeepSeek構(gòu)造了專門的安全數(shù)據(jù)對模型進(jìn)行安全對齊，教會模型的回復(fù)符合人類的價(jià)值觀，增強(qiáng)模型內(nèi)生的安全能力。

模型推理

模型的推理階段即模型被部署提供服務(wù)。

模型訓(xùn)練完成并被部署后，可以通過對輸入信息進(jìn)行編碼和計(jì)算來預(yù)測下一個(gè)token，從而具備文本生成和對話等能力。

部署后的模型能夠熟練執(zhí)行基于文本生成的廣泛多樣的任務(wù)，并可以集成到各種下游系統(tǒng)或應(yīng)用中。

具體到DeepSeek的產(chǎn)品服務(wù)，基于用戶的輸入，模型采用自回歸生成方式，基于輸入的上下文內(nèi)容，通過概率計(jì)算預(yù)測最可能的接續(xù)詞匯序列。

推理完成后，模型輸出相應(yīng)的內(nèi)容作為響應(yīng)，包括文字、表格和代碼等。

此并非簡單檢索或「復(fù)制粘貼」訓(xùn)練數(shù)據(jù)中的原始文本，模型也并未存儲用于訓(xùn)練的原始文本數(shù)據(jù)副本，而是基于對語言結(jié)構(gòu)和語義關(guān)系的深度理解，動態(tài)生成符合語境的回答。

DeepSeek這次還強(qiáng)調(diào)模型開源。

我們通過開源平臺對外公開發(fā)布了所有模型的權(quán)重、參數(shù)以及推理工具代碼等，并采用寬松的MIT協(xié)議，供使用者自由、免費(fèi)下載部署使用。

同時(shí)，DeepSeek發(fā)布各模型的完整技術(shù)報(bào)告，供社區(qū)和研究人員參考，并幫助公眾更深入地了解每個(gè)模型的技術(shù)原理和細(xì)節(jié)。

LLM致命幻覺，全周期硬核對抗

毋庸置疑，當(dāng)前AI發(fā)展還在早期階段，存在無法避免的局限性。

若是再被加以濫用，將會帶來嚴(yán)重的后果。

局限性

AI往往會生成錯(cuò)誤、遺漏，或不符合事實(shí)的內(nèi)容，這種現(xiàn)象統(tǒng)一稱之為「幻覺」。

這個(gè)問題，是整個(gè)AI行業(yè)面臨的挑戰(zhàn)。

對此，DeepSeek正通過一些技術(shù)手段降低幻覺率，包括高質(zhì)量的訓(xùn)練數(shù)據(jù)、優(yōu)化對齊策略、RAG等，但現(xiàn)階段依無法完全消滅。

同時(shí)，他們還在歡迎頁、生成文本的末尾，以及交互界面底部，添加顯著的提示標(biāo)識。

特別提醒用戶——內(nèi)容由人工智能生成，可能不準(zhǔn)確。

因此，AI生成的內(nèi)容僅供參考，所有人不應(yīng)將輸出的內(nèi)容作為專業(yè)建議。

尤其是，在醫(yī)療、法律、金融等專業(yè)領(lǐng)域，DeepSeek不提供任何建議或承諾，專業(yè)的事兒還得找專業(yè)的人。

濫用風(fēng)險(xiǎn)

AI技術(shù)本身是中立的，但濫用可能帶來隱私保護(hù)、版權(quán)、數(shù)據(jù)安全、內(nèi)容安全、偏見歧視等風(fēng)險(xiǎn)。

DeepSeek對此也是高度重視，采取了一系列硬核措施，貫穿了模型研發(fā)、訓(xùn)練、部署的全生命周期。

制定內(nèi)部風(fēng)險(xiǎn)管理制度

開展模型安全性評估

進(jìn)行紅隊(duì)測試

增強(qiáng)模型和服務(wù)透明度等

更重要的是，DeepSeek還賦予了用戶知情權(quán)、選擇權(quán)、控制權(quán)——

你可以查詢服務(wù)的基本信息、拒絕其數(shù)據(jù)用于模型訓(xùn)練、刪除其歷史數(shù)據(jù)等。

參考資料：

https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html