智東西
作者 陳駿達(dá)
編輯 李水青

智東西8月28日?qǐng)?bào)道，近日，知名華人AI科學(xué)家，普林斯頓大學(xué)計(jì)算機(jī)科學(xué)系副教授，NLP小組負(fù)責(zé)人陳丹琦更新了自己Github主頁(yè)上的郵箱，郵箱后綴已經(jīng)變?yōu)椤皌hinkingmachines.ai”。

這是前OpenAI首席技術(shù)官M(fèi)ira Murati、前安全副總裁翁荔（Lilian Weng）等人聯(lián)合創(chuàng)辦的明星AI獨(dú)角獸Thinking Machines Lab的郵箱域名，或許意味著陳丹琦已經(jīng)加入這家公司。

▲陳丹琦GitHub主頁(yè)

在開(kāi)源模型平臺(tái)Hugging Face上，陳丹琦也成為了Thinking Machines Lab團(tuán)隊(duì)的成員之一。

今年7月，剛剛成立5個(gè)月的Thinking Machines Lab完成了20億美元（約合人民幣143.46億元）的全球史上最大種子輪融資，投后估值達(dá)120億美元（約合人民幣857.87億元）。這家創(chuàng)企陣容豪華，多位成員曾在OpenAI擔(dān)任要職，如OpenAI聯(lián)合創(chuàng)始人、前后訓(xùn)練團(tuán)隊(duì)負(fù)責(zé)人John Schulman，以及前GPT-4o-mini團(tuán)隊(duì)負(fù)責(zé)人Kevin Lu等。

陳丹琦于2008年保送進(jìn)入清華大學(xué)計(jì)算機(jī)科學(xué)實(shí)驗(yàn)班（姚班），2012年獲計(jì)算機(jī)科學(xué)學(xué)士學(xué)位，隨后赴美國(guó)斯坦福大學(xué)攻讀博士，2018年獲計(jì)算機(jī)科學(xué)博士學(xué)位，導(dǎo)師為原斯坦福大學(xué)AI實(shí)驗(yàn)室主任、NLP領(lǐng)域的領(lǐng)先專家Christopher Manning。

陳丹琦曾兩次獲得計(jì)算語(yǔ)言學(xué)領(lǐng)域頂會(huì)ACL的優(yōu)秀論文獎(jiǎng)，也曾獲得谷歌、亞馬遜、Meta、Adobe等機(jī)構(gòu)給學(xué)者頒發(fā)的獎(jiǎng)項(xiàng)。

2016年，陳丹琦作為第一作者，憑借論文“A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task（《對(duì)CNN/每日郵報(bào)閱讀理解任務(wù)的全面評(píng)估》）”獲得ACL的優(yōu)秀論文獎(jiǎng)。

這篇論文幫助學(xué)界認(rèn)識(shí)到，數(shù)據(jù)集本身的缺陷回影響模型評(píng)估的可信度，是理解早期機(jī)器閱讀理解研究局限性的里程碑式論文。

▲陳丹琦作為第一作者的ACL 2016優(yōu)秀論文

論文鏈接：https://arxiv.org/abs/1606.02858

2022年，由她指導(dǎo)并署名的論文“Ditch the Gold Standard: Re-evaluating Conversational Question Answering（《拋棄黃金標(biāo)準(zhǔn)：對(duì)話式問(wèn)答的再評(píng)估》）”再次獲得ACL優(yōu)秀論文獎(jiǎng)，這一論文的第一作者為Huihan Li。

▲陳丹琦參與指導(dǎo)的ACL 2022優(yōu)秀論文

論文鏈接：https://arxiv.org/abs/2112.08812

這篇論文提出應(yīng)當(dāng)重新審視評(píng)估標(biāo)準(zhǔn)，強(qiáng)調(diào)在對(duì)話問(wèn)答場(chǎng)景中，單一“標(biāo)準(zhǔn)答案”不足以衡量模型真實(shí)的理解與對(duì)話能力。研究提供了更合理的評(píng)估方法，反映模型在多樣性、語(yǔ)境理解與對(duì)話適應(yīng)性方面的表現(xiàn)。

在斯坦福大學(xué)期間，陳丹琦在句法解析、知識(shí)庫(kù)構(gòu)建、問(wèn)答和對(duì)話系統(tǒng)等領(lǐng)域做出了貢獻(xiàn)。

她2014年發(fā)表的論文“A Fast and Accurate Dependency Parser Using Neural Networks（《一種快速且準(zhǔn)確的基于神經(jīng)網(wǎng)絡(luò)的依存句法分析》）”是第一個(gè)成功的神經(jīng)網(wǎng)絡(luò)依存句法分析模型，用于分析句子的語(yǔ)法結(jié)構(gòu)。該工作為谷歌NLP團(tuán)隊(duì)后續(xù)解析器的研究奠定了基礎(chǔ)。

陳丹琦2017年發(fā)表的論文“Reading Wikipedia to Answer Open-Domain Questions（《通過(guò)閱讀維基百科回答開(kāi)放域問(wèn)題》）” 開(kāi)啟了將信息檢索與神經(jīng)閱讀理解方法結(jié)合起來(lái)，進(jìn)行開(kāi)放域問(wèn)答研究的方向。

2018年，陳丹琦完成了題為“Neural Reading Comprehension and Beyond（《神經(jīng)閱讀理解及其拓展》）”的博士論文，長(zhǎng)達(dá)156頁(yè)。

該論文重點(diǎn)研究閱讀理解和問(wèn)答任務(wù)，在斯坦福大學(xué)正式公開(kāi)后，迅速成為近十年來(lái)最受歡迎的博士論文之一。后來(lái)，它被中國(guó)的NLP研究者翻譯成中文，是該領(lǐng)域許多人必讀的著作。

▲陳丹琦博士論文封面

論文鏈接：

https://stacks.stanford.edu/file/druid:gd576xb1833/thesis-augmented.pdf

陳丹琦目前引用量最高的論文是“RoBERTa：A Robustly Optimized BERT Pretraining Approcah（《RoBERTa：一種穩(wěn)健優(yōu)化的 BERT 預(yù)訓(xùn)練方法》）”，單篇引用量達(dá)3.6萬(wàn)多次。這是她在FAIR期間參與的研究項(xiàng)目之一。

▲陳丹琦谷歌學(xué)術(shù)主頁(yè)（圖源：谷歌學(xué)術(shù)）

這篇論文讓NLP社區(qū)認(rèn)識(shí)到，模型架構(gòu)并非唯一突破口，訓(xùn)練策略與數(shù)據(jù)規(guī)模同樣關(guān)鍵。此后許多大規(guī)模語(yǔ)言模型（如GPT-3等）都在數(shù)據(jù)與訓(xùn)練策略上進(jìn)行了類似優(yōu)化。

▲陳丹琦參與的RoBERTa論文

論文鏈接：https://arxiv.org/abs/1907.11692

從斯坦福大學(xué)畢業(yè)后，陳丹琦入職普林斯頓大學(xué)。她在普林斯頓大學(xué)的個(gè)人主頁(yè)顯示，她擔(dān)任該校NLP小組的共同負(fù)責(zé)人、語(yǔ)言與智能中心副主任，負(fù)責(zé)大模型相關(guān)的基礎(chǔ)研究。陳丹琦還是西雅圖Facebook AI研究院（FAIR）的訪問(wèn)科學(xué)家。

陳丹琦的個(gè)人主頁(yè)顯示，她近期的學(xué)術(shù)興趣包括檢索、大預(yù)言模型訓(xùn)練部署民主化等。

▲陳丹琦在普林斯頓大學(xué)的個(gè)人主頁(yè)

陳丹琦認(rèn)為，檢索應(yīng)該在下一代語(yǔ)言模型中發(fā)揮基礎(chǔ)性作用，以提高其真實(shí)性、適應(yīng)性、可解釋性和可信度。她的團(tuán)隊(duì)正在積極探索如何構(gòu)建有效的檢索器，以及如何將檢索與語(yǔ)言模型相結(jié)合，以實(shí)現(xiàn)最佳權(quán)衡。

此外，陳丹琦還希望通過(guò)改進(jìn)訓(xùn)練方法、數(shù)據(jù)管理、優(yōu)化到模型壓縮和下游適配等方式，實(shí)現(xiàn)大語(yǔ)言模型模型訓(xùn)練和部署的民主化，尤其是在學(xué)術(shù)界。

結(jié)語(yǔ)：又一AI學(xué)者投身產(chǎn)業(yè)界

近年來(lái)，越來(lái)越多的AI學(xué)者選擇投身產(chǎn)業(yè)界。從斯坦福大學(xué)以人為本AI研究院主任李飛飛休假創(chuàng)業(yè)，到MIT教授、計(jì)算機(jī)視覺(jué)領(lǐng)域的領(lǐng)軍人物何愷明加盟DeepMind擔(dān)任杰出科學(xué)家，再到如今的陳丹琦，已經(jīng)形成了一種趨勢(shì)。

產(chǎn)業(yè)界所掌握的海量資金與算力，對(duì)頂尖學(xué)者無(wú)疑具有強(qiáng)大吸引力。隨著高校與企業(yè)在研究資源上的差距逐漸拉大，學(xué)者們或許能夠在產(chǎn)業(yè)界找到更充分的條件去實(shí)現(xiàn)科研構(gòu)想。我們期待這些學(xué)者們，在未來(lái)實(shí)現(xiàn)更多的創(chuàng)新突破。

來(lái)源：陳丹琦個(gè)人主頁(yè)