機(jī)器之心報(bào)道
編輯:杜偉、+0
要指標(biāo)還是更多有價(jià)值的論文,頂級(jí)學(xué)術(shù)會(huì)議似乎也面臨著「to be or not to be」的難題。
NeurIPS 2025 將于 2025 年 12 月 2 日到 7 日在美國圣地亞哥舉辦,并且首次設(shè)置了第二個(gè)官方分會(huì)場墨西哥城。
最近幾天,根據(jù)國內(nèi)外社交媒體的眾多反饋,本屆 NeurIPS 的 Meta Review(元評(píng)審,即多位匿名審稿人提交評(píng)審意見后由領(lǐng)域主席或高級(jí)審稿人撰寫總結(jié)性評(píng)審)已經(jīng)陸續(xù)完成。
出自:MiroMind 研究科學(xué)家 Bai Song(小紅書)
從更多領(lǐng)域主席(AC)透露的消息中,有一些現(xiàn)象關(guān)系到了投稿人論文最終能否被接收。
其中,有領(lǐng)域主席表示,「在 DB(數(shù)據(jù)集和基準(zhǔn)) track,即使得分 4-4-4-5(均分 4.25)也有可能被拒稿?!垢鶕?jù)此前的相關(guān)數(shù)據(jù)統(tǒng)計(jì),本屆 NeurIPS 的投稿數(shù)量或達(dá)到史上最多的 30000。
他認(rèn)為,不要為了接收率固定在 20% 到 25%,而拒掉獲得審稿人積極評(píng)分并達(dá)成共識(shí)的論文。并且,他呼吁向程序主席(PC)建議提高接收率。而根據(jù) Senior PC(高級(jí)程序委員會(huì)成員)的回復(fù),由于場地和資源有限以及投稿量超出了預(yù)期,本屆會(huì)議必須控制接收率
作為對(duì)比,NeurIPS 2024 的接收率為 25.8%(主會(huì)議)和 25.3%(DB),NeurIPS 203 的接收率為 26.1(主會(huì)議)和 32.6%(DN)。
出自:Jian Wang—Snap Research(小紅書)
另一位研究者、加州大學(xué)圣塔芭芭拉分校助理教授 Xin Eric Wang 也提到了這一現(xiàn)象,「有些領(lǐng)域主席即使在所有評(píng)審意見都是正面的情況下,僅僅是為了控制接收率,依然會(huì)拒稿。
他認(rèn)為這種做法是不對(duì)的,并回想起幾年前類似的 AAAI 投稿經(jīng)歷:一篇評(píng)分為 7-7-7-6 的論文僅僅因?yàn)榻Y(jié)果報(bào)告中寫成 0.84 而不是 84% 就被拒掉了?!府?dāng)學(xué)術(shù)會(huì)議開始為名額游戲而拒絕優(yōu)秀的工作時(shí),聲譽(yù)就會(huì)下降。學(xué)術(shù)聲望源于公平的評(píng)審以及吸引頂尖的投稿,而不是人為地壓低接收率?!?/p>
圖源:https://x.com/xwang_lk/status/1960360698942468362
有人曬出了自己過去兩屆 NeurIPS 的「悲慘」遭遇,「8-7-7-6-5」和「7-6-6-6」高分均被拒稿。
圖源:https://x.com/ayushchopra96/status/1960417136729579841
這樣遺憾的結(jié)果出現(xiàn)在了其他更多學(xué)術(shù)會(huì)議中,比如陳丹琦等一批知名青年學(xué)者組織的新會(huì)議 COLM(Conference on Language Modeling,語言建模會(huì)議)。
圖源:https://x.com/fredsala/status/1960386616393945284
我們進(jìn)一步發(fā)現(xiàn),國外社區(qū)有類似的消息透露,「NeurIPS 官方正向高級(jí)領(lǐng)域主席(SAC)施壓,要求他們拒掉已經(jīng)接收的論文,理由是場地限制?!?/p>
網(wǎng)傳的官方發(fā)給審稿委員會(huì)成員的指南顯示,官方要求領(lǐng)域主席們嚴(yán)格執(zhí)行「專業(yè)對(duì)口」的原則,確保每篇被錄用的論文都因其最核心的貢獻(xiàn)而被放在了最合適的類別下,避免出現(xiàn)用「數(shù)據(jù)集的貢獻(xiàn)」去填充「技術(shù)創(chuàng)新名額」的情況,反之亦然
評(píng)論區(qū)有投稿人反映,在論文提交和 rebuttal 階段,官方并未明確告知這一嚴(yán)格的劃分標(biāo)準(zhǔn)。這種在評(píng)審后期才明確的內(nèi)部準(zhǔn)則,讓人感到措手不及。
出自:Li Yu(小紅書)
原則上,研究賽道 (research track) 側(cè)重于技術(shù)進(jìn)步,而數(shù)據(jù)集與基準(zhǔn)測試賽道 (DB track) 則聚焦于數(shù)據(jù)集和基準(zhǔn)測試。我們認(rèn)識(shí)到,這種區(qū)分并非總是清晰明了。有些論文將技術(shù)貢獻(xiàn)與新的數(shù)據(jù)集或基準(zhǔn)測試相結(jié)合,這使得確定哪個(gè)賽道更為合適變得困難。
然而,由于每個(gè)賽道都有其各自的側(cè)重點(diǎn)、提交要求和評(píng)審流程,因此將一篇論文錄用在錯(cuò)誤的賽道上是不公平的。
因此,我們要求所有的領(lǐng)域主席 (ACs) 和高級(jí)領(lǐng)域主席 (SACs) 在給出錄用建議時(shí),仔細(xì)評(píng)估每篇論文的主要貢獻(xiàn)。如果一篇論文的主要貢獻(xiàn)明確在于數(shù)據(jù)集或基準(zhǔn)測試,那么它就不應(yīng)該被研究賽道錄用。反之,如果主要貢獻(xiàn)明確是技術(shù)性的,那么它就不應(yīng)被數(shù)據(jù)集與基準(zhǔn)測試賽道錄用。如果不清楚哪一個(gè)賽道最匹配論文的主要貢獻(xiàn),我們請(qǐng)您在給出錄用建議前,與程序主席 (program chairs) 或數(shù)據(jù)集與基準(zhǔn)測試賽道主席 (DB chairs) 進(jìn)行協(xié)商。
感謝您為 NeurIPS 2025 會(huì)議程序所做的貢獻(xiàn)。
針對(duì)此次爭議,有人表示:「不如將 NeurIPS 拆分成多個(gè)按具體研究領(lǐng)域劃分的、規(guī)模較小的會(huì)議?!?/p>
當(dāng)然,對(duì)「發(fā)文指標(biāo)」的吐槽也從不缺席。
針對(duì) NeurIPS 2025 出現(xiàn)的這些現(xiàn)象,有學(xué)者表示真的希望不要這樣,如此一來會(huì)導(dǎo)致審稿人在未來的互動(dòng)評(píng)審過程中不愿意再提高評(píng)分。
此外,本屆 NeurIPS 引入的「rolling discussion」(滾動(dòng)討論,即在討論階段允許審稿人與作者之間實(shí)時(shí)地展開交流與澄清)機(jī)制是一項(xiàng)顯著的改進(jìn),希望不要把它破壞掉。
圖源:https://x.com/dyamins/status/1960769408147841073
正如下面這位老哥所言,「這樣的體系存在著問題,當(dāng)你把接收指標(biāo)置于學(xué)術(shù)價(jià)值之上時(shí),真正的創(chuàng)新就會(huì)受到損害?!?/p>
圖源:https://x.com/VibeCodeTeddy/status/1960619413050417671
對(duì)于 NeurIPS 2025 審稿問題,你有什么想討論的?歡迎留言。
https://www.reddit.com/r/MachineLearning/comments/1n4bebi/d_neurips_is_pushing_to_sacs_to_reject_already/
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.