智東西AI前瞻(公眾號:zhidxcomAI)
作者 江宇
編輯 漠影
智東西8月19日報道,商湯最近推出了一款名為Seko的AI視頻創(chuàng)作工具,支持用戶輸入一句話想法,自動生成包含劇本、角色、畫面、鏡頭、配音在內(nèi)的完整視頻。整個創(chuàng)作過程中,不需要編劇、音效師、攝影師、打光師、剪輯師,只要有一個想法,Seko就能幫你把這部片子拍出來。
為了測試這款工具的完整能力,智東西也進行了實際體驗。
一、一句話創(chuàng)意,Seko拆解成“成片策劃”
與傳統(tǒng)的“文字轉(zhuǎn)視頻”工具不同,Seko能將一句話的創(chuàng)意直接拆解為一套可執(zhí)行的完整方案。
用戶只需輸入大致的劇情設(shè)定,無需補充參數(shù)或說明細節(jié),系統(tǒng)便會自動生成涵蓋六大環(huán)節(jié)的策劃文檔:包括策劃摘要、美術(shù)風(fēng)格、角色主體、場景概念、音樂風(fēng)格和分鏡劇本,從敘事節(jié)奏到鏡頭語言一應(yīng)俱全。
用戶還可以在策劃文檔右側(cè)的對話欄中提出問題,進一步微調(diào)內(nèi)容細節(jié)。
這套流程背后,是Seko以多AI Agent協(xié)作為核心的系統(tǒng),每個模塊圍繞用戶的想法展開工作:有人負責(zé)建模,有人調(diào)鏡頭,有人生成配音與對白,搭建起一支無需協(xié)調(diào)的“AI劇組”。整條創(chuàng)作鏈條,從人物出場順序、鏡頭節(jié)奏、配樂情緒到轉(zhuǎn)場方式,都由系統(tǒng)自動銜接完成。
用戶也不需要理解技術(shù)細節(jié)或指定模型調(diào)用邏輯,系統(tǒng)會根據(jù)內(nèi)容自動完成分工與調(diào)度。
在角色生成方面,Seko支持上傳圖像來自定義角色。用戶也可選擇根據(jù)劇情設(shè)定自動生成角色形象。
二、體驗:拍一部比格逆襲的AI爽劇
為了體驗Seko在復(fù)雜故事關(guān)系和多角色場景下的適配能力,智東西嘗試拍一部寵物版AI短劇。
在“劇本創(chuàng)作”模式下,輸入自然語言指令:擬人形象,寫實卡通。一只貧窮比格犬帶著一個小車模型,想要送給白貓女朋友,卻被白貓女朋友和另一只富裕泰迪狗一起嘲笑他。比格犬非常傷心,然后每日努力工作,最后靠自己的努力賺錢買上了豪華轎車,白貓女朋友和富裕泰迪狗后悔不已。
全員寵物陣容,走的是經(jīng)典逆襲劇路線。
系統(tǒng)在幾分鐘內(nèi)自動生成了策劃文檔。生成結(jié)果的亮點之一是自動生成的角色形象與設(shè)定高度貼合:我們并未上傳圖片,而是讓系統(tǒng)根據(jù)設(shè)定自動生成三個角色(包括比格犬逆襲前后),最終呈現(xiàn)出的外觀、語氣、配音與劇情設(shè)定一致性較高,也豐富了很多道具細節(jié)。
另一個體驗亮點在于“先確認分鏡靜幀,再生成視頻”的機制。Seko會先給出每個鏡頭的靜態(tài)畫面,用戶可在此階段提出修改。這個階段Seko也出現(xiàn)了一些小Bug。例如,“富裕泰迪犬”設(shè)定下系統(tǒng)默認生成了一位穿西裝的人類男主,而非狗狗角色。我們嘗試再次修改設(shè)定,但系統(tǒng)未及時響應(yīng)。
此外,也有不少的鏡頭中角色動作或外觀會出現(xiàn)不一致。
所有分鏡確認后,用戶可點擊“一鍵轉(zhuǎn)視頻”,分鏡即可轉(zhuǎn)為動畫。
智東西最終生成的視頻共3個場景,25個鏡頭,時長約90秒。節(jié)奏流暢,劇情連貫,配音、對白與分鏡腳本一一對應(yīng)。用戶還可以逐幀修改臺詞、配音和鏡頭結(jié)構(gòu),編輯過程直觀可控。
不過整體來看,成片的節(jié)奏與內(nèi)容完成度相對可觀,也可以通過編輯功能進一步調(diào)優(yōu)。
結(jié)語:創(chuàng)意說出口,Seko能接住也能剪出來
從角色生成到鏡頭設(shè)計,從配音對白到成片導(dǎo)出,Seko幾乎把視頻創(chuàng)作能自動的環(huán)節(jié)全包了下來。
這次體驗中,不用寫分鏡、不用配音、不用剪輯,我們就拍出了完整的寵物短劇。
雖然細節(jié)上還有優(yōu)化空間,但整體流程順暢、內(nèi)容完整,確實讓人看到AI劇組的潛力。對于想快速把想法變成視頻的創(chuàng)作者來說,Seko已經(jīng)是一個值得一試的拍檔。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.