近日,在著名開發(fā)者論壇github上,有技術(shù)大拿曝出猛料,他發(fā)帖稱經(jīng)過與他人的合作研究,發(fā)現(xiàn)華為在前段時(shí)間開源的盤古Pro MoE大模型存在造假的行為,因?yàn)檫@個(gè)模型疑似是通過拼接訓(xùn)練其他家公司的模型而得來的。
2025年6月30日,華為方面宣布對(duì)盤古Pro MoE720億參數(shù)的混合專家模型開源,并表示此舉是華為踐行昇騰生態(tài)戰(zhàn)略的又一關(guān)鍵舉措,推動(dòng)大模型技術(shù)的研究與創(chuàng)新發(fā)展,加速推進(jìn)人工智能在千行百業(yè)的應(yīng)用與價(jià)值創(chuàng)造。
但在論壇中,有開發(fā)者通過模型的指紋識(shí)別出來華為的MoE大模型是由Qwen模型拼接訓(xùn)練而來的。而Qwen模型,是阿里巴巴所研發(fā)的一款大模型。
該開發(fā)者發(fā)帖稱,隨著目前訓(xùn)練成本飆升,以及模型復(fù)用的情況愈發(fā)普遍,所以很多大型語言模型 (LLM) 面臨著嚴(yán)重的版權(quán)和知識(shí)產(chǎn)權(quán)盜竊問題。傳統(tǒng)的水印方法很容易被他人抹去,于是有研究人員在大模型中加入了類似人類的“指紋”的標(biāo)識(shí),這一方法可以在很大程度上防范以上問題。
然而在華為最新開源的盤古Pro MoE模型,與Qwen-2.5 14B表現(xiàn)出極高的相關(guān)性,這說明華為的這一模型是“升級(jí)改造”,而非從零開始訓(xùn)練出來的。
開發(fā)者還曬出了證據(jù),稱QKV偏差分析顯示,盤古模型與Qwen2.5-14B在三種投影類型(Q、K、V)上均表現(xiàn)出驚人的相似性。兩個(gè)模型都表現(xiàn)出幾乎相同的模式。
不僅如此,盤古的代碼里竟然還出現(xiàn)Qwen 2024的license。
如果這一切證據(jù)能夠證實(shí)盤古模型就是造假的話,那也能說明大模型之間的版權(quán)問題已經(jīng)十分嚴(yán)重,同時(shí)所屬公司所發(fā)布的技術(shù)報(bào)告也存在著捏造信息的行為。
目前,在github論壇上正有越來越多的開發(fā)者正在對(duì)此進(jìn)行研究論證。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.