魔鏡魔鏡,誰(shuí)是有史以來(lái)被引用次數(shù)最多的科學(xué)家?
答案:深度學(xué)習(xí)三巨頭之一、圖靈獎(jiǎng)得主Yoshua Bengio。
如你所見,之所以提出這個(gè)問題,其實(shí)是因?yàn)橄嚓P(guān)消息正在引起熱議ing。
并且這一次,Bengio的“最高引”頭銜不僅限于計(jì)算機(jī)領(lǐng)域,而是“稱霸”所有學(xué)科,屬于“各領(lǐng)域被引用次數(shù)最多的在世科學(xué)家”。
在這之前,早在2018年,Bengio就是世界計(jì)算機(jī)研究者中單日引用次數(shù)最高的人(同一年獲圖靈獎(jiǎng)),2022年還一舉成為世界上被引用次數(shù)最多的計(jì)算機(jī)科學(xué)家。
其貢獻(xiàn)最大的幾篇論文《一種神經(jīng)概率語(yǔ)言模型》(發(fā)表于2003年)、《Generative adversarial nets》(發(fā)表于2014年的GAN)、《Deep learning》(發(fā)表于2015年)全都為深度學(xué)習(xí)領(lǐng)域奠定了重要基礎(chǔ),深刻影響著如今大火的自然語(yǔ)言處理、計(jì)算機(jī)視覺等研究。
而在網(wǎng)友們的討論中,熱議背后更深層的意義也逐漸明晰:AI的勝利。
- Bengio改變了人工智能,其對(duì)深度學(xué)習(xí)的貢獻(xiàn)真正塑造了現(xiàn)代人工智能研究。
所以,借此機(jī)會(huì),我們不妨再來(lái)回顧一下Bengio是誰(shuí),他又如何改變了人工智能——
“影響了一代人”的深度學(xué)習(xí)先驅(qū)
Yoshua Bengio,1964年出生于法國(guó)巴黎,后全家移居加拿大。
關(guān)于成長(zhǎng)早期,Bengio曾自述為“典型的書呆子”,高中無(wú)聊時(shí)經(jīng)常獨(dú)自在圖書館看書。
十幾歲的時(shí)候,他終于和弟弟(Samy Bengio,現(xiàn)任蘋果公司AI與機(jī)器學(xué)習(xí)研究高級(jí)總監(jiān))通過送報(bào)紙攢夠了買電腦的錢——當(dāng)時(shí)買了Atari 800和Apple II個(gè)人電腦。
或許是因?yàn)檫@進(jìn)一步點(diǎn)燃了他對(duì)電腦的興趣,1986~1991年,他在麥吉爾大學(xué)計(jì)算機(jī)科學(xué)系一路讀完了本碩博。
注意,其博士導(dǎo)師正是Geoffrey Hinton,在受Hinton啟發(fā)開始對(duì)“什么是智力?”這一問題產(chǎn)生興趣后,他選擇研究語(yǔ)音識(shí)別,并開始從經(jīng)典統(tǒng)計(jì)模型轉(zhuǎn)向神經(jīng)網(wǎng)絡(luò)。
后來(lái),他又分別去了MIT和大名鼎鼎的貝爾實(shí)驗(yàn)室從事科學(xué)研究,也是在貝爾實(shí)驗(yàn)室,他開始與Yann LeCun合作,將其博士論文中的技術(shù)應(yīng)用于實(shí)際問題。
至此深度學(xué)習(xí)三巨頭(Bengio、Hinton、LeCun)算是結(jié)成了一張網(wǎng)。
直到1993年,他被聘為蒙特利爾大學(xué)助理教授,之后陸續(xù)晉升為副教授、教授,至今仍為該校教授,擔(dān)任蒙特利爾學(xué)習(xí)算法研究所 (MILA) 所長(zhǎng),并擔(dān)任加拿大高等研究院機(jī)器與腦機(jī)學(xué)習(xí)項(xiàng)目的聯(lián)合主任。
而除了以上求學(xué)和職業(yè)經(jīng)歷,Bengio之所以為人熟知還是因?yàn)樗?strong>深度學(xué)習(xí)方面的貢獻(xiàn)。
2018年,三巨頭共同拿下了計(jì)算機(jī)領(lǐng)域的國(guó)際最高獎(jiǎng)項(xiàng)——圖靈獎(jiǎng),理由是他們?cè)谏疃壬窠?jīng)網(wǎng)絡(luò)概念和工程上的突破,使得DNN成為計(jì)算的一個(gè)重要構(gòu)成。
具體到Bengio,ACM細(xì)數(shù)了其三大重要貢獻(xiàn):列的概率建模、高維詞嵌入與注意力機(jī)制、生成對(duì)抗網(wǎng)絡(luò)。
這里就不得不提到Bengio發(fā)表或參與發(fā)表的幾篇重要論文(總引95萬(wàn)+)。
2000年,他撰寫了具有里程碑意義的論文《一種神經(jīng)概率語(yǔ)言模型》,提出用神經(jīng)網(wǎng)絡(luò)解決語(yǔ)言建模中的“維度災(zāi)難(curse of dimensionality)”問題,為后來(lái)的大語(yǔ)言模型(如GPT系列)奠定基礎(chǔ)。
2014年,其博士生Ian Goodfellow發(fā)明了生成對(duì)抗網(wǎng)絡(luò)GAN (Bengio為共同作者) ,這是首次提出生成對(duì)抗網(wǎng)絡(luò)的論文,也是Bengio目前引用量最高的一篇。
排在第二的就是三巨頭2015年共同發(fā)表的《Deep learning》,這篇論文不僅系統(tǒng)總結(jié)了深度學(xué)習(xí)的發(fā)展歷程,還深入剖析了其理論基礎(chǔ)、核心算法和廣泛應(yīng)用,被視為深度學(xué)習(xí)領(lǐng)域的“圣經(jīng)”。
再加上后來(lái)的幾篇,可以說,Bengio在深度學(xué)習(xí)、循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、GAN等方面均做出了開創(chuàng)性貢獻(xiàn),推動(dòng)了機(jī)器翻譯、自然語(yǔ)言處理、計(jì)算機(jī)視覺等領(lǐng)域的巨大進(jìn)步。
也正是因?yàn)檫@些研究,Bengio被公認(rèn)為人工智能專家和深度學(xué)習(xí)先驅(qū),堪稱影響了一代人。
不過最近一陣,Bengio已經(jīng)官宣再次創(chuàng)業(yè)了——
今年6月,他成立了非營(yíng)利組織LawZero,要構(gòu)建下一代AI系統(tǒng),而且明確不做Agent(官宣時(shí)透露已籌集到3000萬(wàn)美元啟動(dòng)資金)。
Bengio表示,當(dāng)前AI系統(tǒng)已顯現(xiàn)出自我保護(hù)和欺騙行為的跡象,隨著其能力和自主性的提升,這種趨勢(shì)只會(huì)加速,LawZero是他們針對(duì)這些挑戰(zhàn)所給出的建設(shè)性回應(yīng)。
- 它以理解學(xué)習(xí)世界為核心目標(biāo),而非在世界中采取行動(dòng),通過透明化外部推理,對(duì)問題提供可驗(yàn)證的真實(shí)答案,“可用于加速科學(xué)發(fā)現(xiàn)、為Agent型AI系統(tǒng)提供監(jiān)督,并深化大家對(duì)AI風(fēng)險(xiǎn)及其規(guī)避方法的理解”。
何愷明、Ilya都上榜了
說完Bengio,人們自然而然地好奇——
老二是誰(shuí)呢?誰(shuí)將有希望超越Bengio?
好嘛,還是我們的老熟人Geoffrey Hinton,其論文總引用量目前接近94萬(wàn),和Bengio差距不大。
而且扒一扒AD Scientific Index網(wǎng)站發(fā)布的完整名單,光是TOP 10就有不少大家熟悉的人。
這里補(bǔ)充一下AD Scientific Index的介紹,該平臺(tái)對(duì)全球超過260萬(wàn)科研人員、24500多家機(jī)構(gòu)(包括大學(xué)、研究所、企業(yè)、醫(yī)院等)、來(lái)自221個(gè)國(guó)家的研究表現(xiàn)進(jìn)行評(píng)估。
評(píng)估指標(biāo)包括H-index、i10-index和總引用數(shù)這三個(gè),每個(gè)指標(biāo)都提供“整個(gè)職業(yè)生涯”與“最近5或6年”兩個(gè)時(shí)間段的數(shù)據(jù)(兼顧長(zhǎng)期積累與近期活躍度),索引主要基于公開的Google Scholar個(gè)人資料,經(jīng)過多層清洗和審核處理。
整體而言,這個(gè)網(wǎng)站的排名不僅具備實(shí)時(shí)性(谷歌學(xué)術(shù)數(shù)據(jù)約20天自動(dòng)刷新一次,排名則每2天重新計(jì)算與發(fā)布),而且覆蓋了各種學(xué)科類型。
咱們的老熟人還有排在第五的何愷明(總引73萬(wàn)+)、排第七的Ilya Sutskever(總引67萬(wàn)+),剩余幾位幾乎都是醫(yī)學(xué)領(lǐng)域的科學(xué)家。
總之,透過這一排名,我們能看到當(dāng)下最熱的兩大領(lǐng)域:AI和醫(yī)學(xué)。
畢竟,當(dāng)一個(gè)人的論文被全世界數(shù)十萬(wàn)次引用,或許就不僅僅只是學(xué)術(shù)榮耀那么簡(jiǎn)單,而更有可能代表了時(shí)代的注腳。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.