當(dāng)OpenAI和阿里還在比拼參數(shù)規(guī)模時(shí),小米卻走了一條與眾不同的路。4月30日,小米正式開源其首個(gè)專為推理任務(wù)設(shè)計(jì)的大模型XiaomiMiMo,僅用7B參數(shù)就在數(shù)學(xué)推理和代碼競賽中超越了OpenAI的o1-mini和阿里32B規(guī)模的QwQ-32B-Preview。這一突破不僅展現(xiàn)了小米在AI領(lǐng)域的實(shí)力,更揭示了"參數(shù)并非萬能"的行業(yè)新思考。
小身材大能量:7B參數(shù)實(shí)現(xiàn)超越性表現(xiàn)
XiaomiMiMo在數(shù)學(xué)推理(AIME24-25)和代碼競賽(LiveCodeBenchv5)兩項(xiàng)關(guān)鍵測評中表現(xiàn)出色,以7B的輕量級參數(shù)規(guī)模,性能超越了OpenAI閉源模型o1-mini和阿里Qwen的32B大模型。更令人驚訝的是,在相同強(qiáng)化學(xué)習(xí)訓(xùn)練條件下,MiMo-7B的表現(xiàn)甚至優(yōu)于業(yè)界知名的DeepSeek-R1-Distill-7B和Qwen2.5-32B等模型。
這一成就打破了"參數(shù)越大性能越強(qiáng)"的傳統(tǒng)認(rèn)知,證明了通過優(yōu)化訓(xùn)練方法和算法,小規(guī)模模型同樣可以實(shí)現(xiàn)卓越性能。小米的成功不僅為行業(yè)提供了新思路,也為資源有限的研究者和企業(yè)開辟了一條高效AI發(fā)展路徑。
技術(shù)突破:預(yù)訓(xùn)練與后訓(xùn)練雙輪驅(qū)動
MiMo的成功并非偶然,而是預(yù)訓(xùn)練和后訓(xùn)練兩個(gè)階段多層面創(chuàng)新的結(jié)果。在預(yù)訓(xùn)練階段,小米團(tuán)隊(duì)重點(diǎn)挖掘富含推理模式的語料,合成了約200Btokens的推理數(shù)據(jù),并通過三階段逐步提升難度的訓(xùn)練策略,累計(jì)訓(xùn)練了25Ttokens,為模型打下了堅(jiān)實(shí)的推理基礎(chǔ)。
后訓(xùn)練階段的創(chuàng)新更為關(guān)鍵。小米提出了"
TestDifficultyDrivenReward"機(jī)制,有效解決了困難算法問題中獎(jiǎng)勵(lì)稀疏的難題;引入"EasyDataRe-Sampling"策略,顯著提升了強(qiáng)化學(xué)習(xí)訓(xùn)練的穩(wěn)定性;設(shè)計(jì)的"SeamlessRollout"系統(tǒng)更是將強(qiáng)化學(xué)習(xí)訓(xùn)練速度提升2.29倍,驗(yàn)證速度提升1.96倍。這些創(chuàng)新共同構(gòu)成了MiMo高效推理能力的核心支撐。
小米的AI戰(zhàn)略:從硬件到人才的全面布局
MiMo的開源只是小米AI戰(zhàn)略的冰山一角。據(jù)界面新聞報(bào)道,小米正在建設(shè)萬卡級GPU集群,創(chuàng)始人雷軍親自領(lǐng)導(dǎo)這一重大項(xiàng)目。在人才方面,小米也積極引進(jìn)頂尖AI專家,如DeepSeek-V2的關(guān)鍵開發(fā)者羅福莉已加入小米AI實(shí)驗(yàn)室,將領(lǐng)導(dǎo)大模型團(tuán)隊(duì)發(fā)展。
小米的這一系列動作表明,它正從硬件基礎(chǔ)設(shè)施、核心技術(shù)研發(fā)到人才儲備進(jìn)行全面布局。正如知情人士所言:"在AI硬件這件事情上,最核心的是手機(jī)而不是眼鏡,小米在這個(gè)領(lǐng)域不all in是不可能的。"MiMo的成功開源,正是小米AI戰(zhàn)略邁出的重要一步。
在AI競賽日趨白熱化的今天,小米通過MiMo展示了其獨(dú)特的技術(shù)路線和戰(zhàn)略思考。這款7B參數(shù)模型超越更大規(guī)模競品的表現(xiàn),不僅為行業(yè)提供了新思路,也標(biāo)志著中國AI企業(yè)在技術(shù)創(chuàng)新上的又一突破。隨著技術(shù)細(xì)節(jié)的全面開源,MiMo有望成為推理領(lǐng)域的重要參考模型,推動整個(gè)AI生態(tài)的發(fā)展。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.