西風 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
最初說不做視頻生成模型的百度,現(xiàn)在在視頻生成的路上一路狂奔!
就在剛剛,百度蒸汽機(MuseSteamer)視頻生成大模型升級至2.0版本,主打多人有聲音視頻一體化生成
話不多說,直接來看效果:
視頻鏈接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg
蒸汽機2.0更加擅長復雜運鏡,用鏡頭講故事的能力也更強,畫質進一步提升。
再來看下面這個展示,美人魚的魚鱗、臉上的妝容細節(jié)都精致得很,人物的表演、情緒、聲音全都一體化生成:
視頻鏈接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg
除了“正經(jīng)”玩法,還能拿它來整活,比如讓身穿古代盔甲的武士坐在那打麻將:
視頻鏈接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg
或者讓他踩縫紉機繡花:
視頻鏈接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg
將圖片轉換成不同風格的視頻也可以:
目前用戶可通過百度搜索“百度蒸汽機”或登錄“繪想”平臺體驗。
蒸汽機2.0總共有四個版本:Turbo版、Lite版、Pro版以及有聲版。
另外,百度蒸汽機2.0全系模型還登陸了百度智能云,企業(yè)用戶可在百度千帆大模型平臺使用蒸汽機API的服務。
價格方面低至行業(yè)70%,蒸汽機Turbo有聲版價格2.5元/秒,限時優(yōu)惠兩周1.4元/5秒。
更多效果讓人眼前一亮
下面來看更多效果展示。
人在海邊吹風,海浪和海鷗的音效很自然:
視頻鏈接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg
生成科幻大片,也很有那味兒了:
視頻鏈接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg
讓“王爺”和“王妃”穿越時空坐飛機去迪士尼玩,這場面真的很難不笑:
視頻鏈接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg
又或者是生成卡通視頻,各種風格都能行:
視頻鏈接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg
發(fā)布會現(xiàn)場,百度還請來了專業(yè)影視視效指導姚騏,姚騏曾參與過《黑客帝國 3》《變形金剛 3》等多部好萊塢大片,還有國產(chǎn)科幻劇《三體》的視效工作。
姚騏在現(xiàn)場展示了其用百度蒸汽機2.0制作的科幻短片《歸途》,并表示“蒸汽機讓好萊塢級大片鏡頭不再需要百萬預算”。
首創(chuàng)多模態(tài)潛在空間規(guī)劃
在技術方面,百度透露了蒸汽機的幾大秘訣。
首先,百度蒸汽機行業(yè)首次實現(xiàn)多人有聲音視頻一體化生成,語音與唇形、表情、動作的毫秒級精準對齊,復雜場景下依然穩(wěn)定。
另外,團隊首創(chuàng)多模態(tài)潛在空間規(guī)劃技術(Latent Multi-Modal Planner),自主協(xié)調多角色身份、情感與互動邏輯,保障電影級敘事連貫性。
蒸汽機還有個特點是深度適配中文場景,以超98%的還原度精準呈現(xiàn)中文語音細節(jié)與情感表達。
畫質方面,端到端電影級畫質生成,通過精準主體動態(tài)刻畫,打造真實細膩的人物表現(xiàn)力。
運鏡方面,采用大師級運鏡控制,內(nèi)置數(shù)十種專業(yè)鏡頭語言,精準響應文本指令,實現(xiàn)視覺細節(jié)與創(chuàng)意意圖的完美對齊。
為啥百度現(xiàn)在重倉視頻生成?
為什么百度一開始不做視頻生成模型,現(xiàn)在又來了個大反轉?
百度給出了答案是——蒸汽機的研發(fā)是由應用驅動模型研發(fā)
百度內(nèi)部各個實際場景和業(yè)務,像搜索、由百萬創(chuàng)作者組成的內(nèi)容生態(tài)、分發(fā)內(nèi)容的百度信息流,還有各個垂類以及百度商業(yè),都對視頻生成模型有強烈需求。
目前,百度蒸汽機已在百度移動生態(tài)廣泛使用,進一步強化了百度搜索、內(nèi)容、商業(yè)等生態(tài)的多模態(tài)體驗。
活動上,百度還分享了蒸汽機在多個場景的落地應用。
比如在一汽大眾攬境的七夕主題營銷案例中,百度蒸汽機作為核心引擎,打造了行業(yè)首支汽車類AIGC創(chuàng)意視頻《攬境天階·七夕重逢》。
伊利倍暢成人羊奶粉的AI整合營銷案例中,通過百度蒸汽機,制作了伊利倍暢首支AIGC品牌宣傳片《漂“羊”過海來看你》。
視頻鏈接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg
說白了,百度做蒸汽機,不是追風口,而是自家生態(tài)里的“剛需”推著往前走。
感興趣的友友可以去薅羊毛免費體驗了~
官網(wǎng)鏈接:https://huixiang.baidu.com/?from=pc_meiti_1
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.