出品｜虎嗅科技組

作者｜陳伊凡

編輯｜苗正卿

頭圖｜AI生成

“AI原生100”是虎嗅科技組推出針對(duì)AI原生創(chuàng)新欄目，這是本系列的第「15」篇文章。

“我們確信不久的將來(lái)會(huì)有一個(gè)‘大餅’掉下一個(gè)，雖然具體什么時(shí)候掉下來(lái)我們不知道，但我們要先把盤(pán)子做好、做大，否則掉下來(lái)了我們也接不住。”

姜濤如此描述自己現(xiàn)在做的事。說(shuō)這句話(huà)時(shí)，姜濤正坐在音潮辦公室的會(huì)客區(qū)里。

他親歷了中國(guó)AI音樂(lè)發(fā)展全過(guò)程，在過(guò)去的十多年時(shí)間，他幾乎沒(méi)有離開(kāi)過(guò)AI音樂(lè)賽道，如今，他是一家專(zhuān)注音樂(lè)大模型和AI音樂(lè)產(chǎn)品的公司——音潮的CEO。

如果第一次見(jiàn)到姜濤，很容易將他和音樂(lè)人聯(lián)系在一起，但你很難想到這是一位從事了多年AI算法的技術(shù)男。他穿著米色休閑亞麻西裝，有時(shí)候還會(huì)帶著一個(gè)圓形禮帽，很像一個(gè)玩爵士樂(lè)的“老炮兒”。他會(huì)給妻子做歌，把女兒稚嫩的聲音編進(jìn)旋律，浪漫得不像理工男。但從他的表達(dá)中，卻能看出他的算法功底，例如他會(huì)用“技術(shù)?！眮?lái)比喻團(tuán)隊(duì)成員的不同能力，他對(duì)AI音樂(lè)發(fā)展史信手拈來(lái)，說(shuō)到AI發(fā)展的每一個(gè)里程碑事件時(shí)，他會(huì)提高語(yǔ)氣。

1938年，第一臺(tái)電子語(yǔ)音合成器Voder在貝爾實(shí)驗(yàn)室建造成功，這是AI第一次和音頻結(jié)緣。

1957年，Lejaren Hiller和Leonard Isaacson實(shí)現(xiàn)的人類(lèi)歷史上第一支由計(jì)算機(jī)創(chuàng)作的音樂(lè)作品《Illiac Suite》，通過(guò)算法將變量替換成音符生成了四個(gè)樂(lè)章。

但此后漫長(zhǎng)的歲月里，AI 音樂(lè)像是被按下了慢放鍵——馬爾可夫鏈在旋律里打轉(zhuǎn)，循環(huán)神經(jīng)網(wǎng)絡(luò)困在節(jié)奏的迷宮里，卷積神經(jīng)網(wǎng)絡(luò)也跨不過(guò)全鏈條生成的門(mén)檻，進(jìn)展緩慢得讓人幾乎忘了它的存在。

直到2016年，谷歌推出了用于音樂(lè)生成的Magenta項(xiàng)目，利用深度學(xué)習(xí)TensorFlow等框架，展示了AI音樂(lè)生成的能力。

彼時(shí)的姜濤正在快手的辦公室里，對(duì)著屏幕上混亂的音頻波形發(fā)愁——他正試圖解決人聲與伴奏音樂(lè)分離的難題，這個(gè)困擾行業(yè)多年的痛點(diǎn)，在此前的技術(shù)框架下始終是塊難啃的硬骨頭。偶然間注意到Spotify（瑞典一家在線(xiàn)音樂(lè)流服務(wù)平臺(tái)）的一些科學(xué)家嘗試用醫(yī)療影像中血管分離的模型解決這個(gè)問(wèn)題，姜濤覺(jué)得很有創(chuàng)意，他也寫(xiě)了個(gè)模型嘗試了一下，沒(méi)想到效果出奇的好，分離出來(lái)的人聲異常干凈。

姜濤后來(lái)常對(duì)人說(shuō)起那個(gè)時(shí)刻，他第一次深刻感知到深度學(xué)習(xí)的能力，之前很多認(rèn)為不可解的問(wèn)題在這一刻完美解決了。

也是在那一年，他找到快手 CEO 宿華，提出要做 AI 音樂(lè)生成?！爱?dāng)時(shí)大家覺(jué)得這事兒太玄幻了?！?但宿華非常的支持，同時(shí)還分享了其上學(xué)時(shí)用音樂(lè)排解其苦悶的故事。轉(zhuǎn)頭又給他找了個(gè)特殊的顧問(wèn)——曾給張惠妹、蕭敬騰等一眾知名歌手填詞作曲的專(zhuān)業(yè)音樂(lè)人“阿怪”，陳志翰。

那段時(shí)間，快手的辦公室里總飄著奇奇怪怪的旋律。姜濤帶著算法團(tuán)隊(duì)和阿怪?jǐn)D在同一個(gè)隔間，一邊用代碼訓(xùn)練模型，一邊聽(tīng)阿怪講和弦走向、編曲等樂(lè)理知識(shí)。這種奇妙的碰撞，成為了他音樂(lè)素養(yǎng)的啟蒙。

2021年，Transformer為架構(gòu)的大模型的出現(xiàn)。2024年，Suno橫空出世，被稱(chēng)為音樂(lè)界的“ChatGPT”，第一次實(shí)現(xiàn)了歌詞、人聲、伴奏等一系列音樂(lè)內(nèi)容一次性AI生成。姜濤知道，那個(gè)“天上的餅”可能快要掉下來(lái)了。

也是在這一年，音潮誕生了。

即使現(xiàn)在看來(lái)，音樂(lè)生成依然還是一個(gè)小眾卻好玩的賽道。在中國(guó)科技領(lǐng)域，做語(yǔ)音和音頻生成的人并不多，音樂(lè)生成又是其中最小眾的一批人，國(guó)內(nèi)的專(zhuān)家一只手都數(shù)得過(guò)來(lái)。在這個(gè)領(lǐng)域的人，既是玩音樂(lè)的人中最懂算法的，也是做算法的人中最懂音樂(lè)的。但姜濤總覺(jué)得，這里藏著和快手當(dāng)年一樣的機(jī)會(huì)——每個(gè)人都能拍視頻讓短視頻實(shí)現(xiàn)了平權(quán)，那當(dāng)每個(gè)人都能做歌的時(shí)候，音樂(lè)是否也能實(shí)現(xiàn)平權(quán)？

他還記得快手上那個(gè)把李榮浩《爸爸媽媽》唱火的農(nóng)民工，記得蒙古牧民哼著聽(tīng)不懂的調(diào)子卻讓人汗毛倒豎的瞬間?！巴赓u(mài)小哥的故事，環(huán)衛(wèi)工的生活，為什么不能寫(xiě)成歌？”他給妻子寫(xiě)的歌，每年都會(huì)拿出來(lái)聽(tīng)，里面還留著女兒小時(shí)候含糊不清的童聲。

姜濤說(shuō)，如果短視頻的平權(quán)，塑造了快手和抖音，那么音樂(lè)平權(quán)是不是也能塑造出偉大的公司？

快手的啟蒙

虎嗅：你是如何切入AI音樂(lè)賽道？

姜濤：我在中科院計(jì)算所工作了三年。我可能是所里唯一做應(yīng)用聲學(xué)相關(guān)研究的。那時(shí)海外聽(tīng)歌識(shí)曲的APP應(yīng)用Shazam特別火，我就在所里開(kāi)發(fā)了國(guó)內(nèi)的第一款聽(tīng)歌識(shí)曲APP--“音樂(lè)耳朵”，上線(xiàn)了App Store應(yīng)用市場(chǎng)。幾年后QQ音樂(lè)、網(wǎng)易云等才上線(xiàn)了該功能。這段經(jīng)歷讓我進(jìn)入音樂(lè)信息檢索（Music Information Retrieval）這個(gè)賽道。

我經(jīng)歷過(guò)深度學(xué)習(xí)之前的專(zhuān)家系統(tǒng)、隱含馬爾科夫模型、知識(shí)向量機(jī)等多個(gè)模型階段，以及當(dāng)下的大模型階段。

其實(shí)深度學(xué)習(xí)出來(lái)的時(shí)候我很興奮，2016年左右我在快手做了一個(gè)音樂(lè)和伴奏分離的模型，這個(gè)問(wèn)題在這之前一直做不好，效果很差，深度學(xué)習(xí)出來(lái)之后，我們借鑒了Spotify發(fā)表的一篇論文，這個(gè)算法將醫(yī)療圖像上的血管分離用于語(yǔ)譜圖中人聲和伴奏的分離。

這個(gè)想法非常的巧妙，我們實(shí)現(xiàn)以后發(fā)現(xiàn)效果特別棒。這是我從內(nèi)心相信深度學(xué)習(xí)的原因，一個(gè)自己多年來(lái)求而不得結(jié)果，深度學(xué)習(xí)一下就解決得很好。這個(gè)感覺(jué)非常的讓人興奮和幸福。

我很感謝我的導(dǎo)師，哈工大的韓紀(jì)慶教授，以及鄭貴濱、鄭鐵然兩位師兄的幫助。韓老師是一個(gè)對(duì)科研非常認(rèn)真，對(duì)學(xué)生的指導(dǎo)傾盡心血。我當(dāng)時(shí)的研究方向和實(shí)驗(yàn)室的主流方向有差異，但是韓老師給予了極大的支持和鼓勵(lì)。沒(méi)有韓老師和實(shí)驗(yàn)室給我打牢的知識(shí)基礎(chǔ)，我很難在A(yíng)I音樂(lè)這個(gè)領(lǐng)域有所發(fā)展。

虎嗅：但你的經(jīng)歷中其實(shí)并沒(méi)有選擇進(jìn)入一些語(yǔ)音識(shí)別的公司。

姜濤：有時(shí)候可能真是被選擇，投身了一個(gè)小眾又好玩的賽道。整個(gè)算法圈的人員分布基本是這樣的，首先是自然語(yǔ)言最多，然后是CV視覺(jué)，最少的是音頻相關(guān)。音頻當(dāng)中，做語(yǔ)音識(shí)別的人最多，其次是合成，然后才是音樂(lè)。音樂(lè)在過(guò)去20到30年時(shí)間，一直處于一個(gè)既不算落寞但也不火熱的狀態(tài)。

音樂(lè)研究人員的匱乏，資源也非常有限，導(dǎo)致這個(gè)領(lǐng)域比較封閉，國(guó)內(nèi)從事這個(gè)方面研究的屈指可數(shù)。當(dāng)年與北大的陳曉鷗教授合作時(shí)，他為了讓學(xué)生出國(guó)參加會(huì)議，把湊了三四張經(jīng)費(fèi)卡，才湊夠?qū)W生的出行費(fèi)用。

這個(gè)行業(yè)確實(shí)有一些比較有趣的人，龔嶸老師拿了歐洲文化基金，錄入了國(guó)內(nèi)最大的京劇數(shù)據(jù)集，最近他還做口吃的識(shí)別和矯正。北郵的李榮鋒老師一直在做古樂(lè)譜-工尺譜翻譯研究。Gus夏光宇老師做了能與人合奏的彈鋼琴機(jī)器人、能夠指導(dǎo)人唱歌時(shí)呼吸的硬件設(shè)備等好玩的東西。

這個(gè)方向很難招人，只有復(fù)旦李偉老師等幾個(gè)學(xué)校有少量的學(xué)生。更多情況，我們都是在公司內(nèi)部培養(yǎng)，找一些知識(shí)背景接近又對(duì)這個(gè)方向感興趣的同學(xué)。

虎嗅：到快手負(fù)責(zé)哪塊業(yè)務(wù)？

姜濤：2016年，我去了快手。當(dāng)時(shí)快手大概一兩百人多人，是快手飛速發(fā)展的階段，快手的DAU從幾百萬(wàn)到幾千萬(wàn)，又迅速上升到幾億的階段。

我是快手的第一位音頻相關(guān)的算法工程師，我們從零開(kāi)始建立快手的音頻和音樂(lè)相關(guān)的算法團(tuán)隊(duì)。最開(kāi)始我們做的工作一部分是把一些違規(guī)的音頻內(nèi)容過(guò)濾掉，同時(shí)把音頻內(nèi)容做聚合和打散。

虎嗅：在快手的經(jīng)歷中有沒(méi)有印象深刻的事情？

姜濤：當(dāng)時(shí)的快手是一個(gè)有趣的狀態(tài)——混亂的高速發(fā)展，但是效率非常非常高。沒(méi)有職級(jí)，但你需要什么幫助， 在企業(yè)微信里找到這個(gè)人，只要能幫到你就一定會(huì)全力幫你。

虎嗅：當(dāng)時(shí)的快手有OKR或者KPI嗎？

姜濤：沒(méi)有，那個(gè)時(shí)候是一個(gè)風(fēng)口，上漲很快，你可以感受站在風(fēng)口的感覺(jué)，就是你做點(diǎn)什么事情，都會(huì)有大批用戶(hù)喜歡。

虎嗅：抖音在那個(gè)時(shí)候是個(gè)什么狀態(tài)？

姜濤：那時(shí)候是很有趣的狀態(tài)，抖音剛起來(lái)。因?yàn)槲耶?dāng)時(shí)一直關(guān)注各種音樂(lè)流量的變化情況，我發(fā)現(xiàn)抖音音樂(lè)流量起來(lái)了，內(nèi)部還討論過(guò)是否學(xué)習(xí)抖音的模式。不過(guò)最后快手選擇了自己的路線(xiàn)，我認(rèn)為這兩種都沒(méi)有錯(cuò)，都發(fā)展成了現(xiàn)象級(jí)的產(chǎn)品。

虎嗅：這兩條路線(xiàn)是什么樣的？

姜濤：快手更強(qiáng)調(diào)短視頻平權(quán)，宿華的個(gè)人理想是相信每個(gè)人都有平等機(jī)會(huì)成為世界明星，只要你拍攝，快手就會(huì)給你一個(gè)平等的展示權(quán)利。那時(shí)快手的slogan還是“記錄世界、記錄你”?？焓值娜罕娀A(chǔ)是東北老鐵，其實(shí)流量起源于同城，你可以看到整個(gè)區(qū)域內(nèi)的內(nèi)容，還可以看到其他區(qū)域的人發(fā)的視頻什么風(fēng)格，這個(gè)非常有趣，也是當(dāng)時(shí)快手快速起量的原因。抖音更強(qiáng)調(diào)一二線(xiàn)城市的年輕人，流量會(huì)集中打一個(gè)單獨(dú)的品類(lèi)。我們當(dāng)時(shí)開(kāi)玩笑地說(shuō)過(guò)一句話(huà)，這是人類(lèi)歷史上僅有的兩個(gè)產(chǎn)品，DAU都過(guò)億，但還能保持高速增長(zhǎng)，那就是中國(guó)的抖音和快手。他們選擇了兩條完全不同的增長(zhǎng)曲線(xiàn)，這兩條都很性感，都成長(zhǎng)成了偉大的公司。

虎嗅：你在快手呆了4年多，這四年多的時(shí)間，除了見(jiàn)證它的高速發(fā)展，有經(jīng)歷過(guò)快手一些至關(guān)重要的轉(zhuǎn)型時(shí)刻嗎？

姜濤：快手完成了短視頻的教育，但后續(xù)抖音完成了第一波收割，微信視頻號(hào)完成了第二波收割。快手能迅速發(fā)展起來(lái)，得益于幾個(gè)因素的疊加，智能手機(jī)的普及、移動(dòng)互聯(lián)網(wǎng)的加速和降費(fèi)、深度學(xué)習(xí)的紅利等。每個(gè)人手機(jī)上都有一個(gè)攝像頭，能夠隨時(shí)隨地的拍攝作品并快速傳播給全世界。

虎嗅：快手是一個(gè)非常典型的移動(dòng)互聯(lián)網(wǎng)原生的產(chǎn)品，和我們現(xiàn)在討論的AI原生產(chǎn)品一樣。

姜濤：是的，快手、抖音都吃到了上一波深度學(xué)習(xí)的紅利。快手發(fā)展時(shí)，深度學(xué)習(xí)剛起來(lái)，我們這個(gè)組叫MMU，Multimedia Understanding。組長(zhǎng)李巖對(duì)算法和業(yè)務(wù)都有非常深刻的理解，是快手AI技術(shù)研發(fā)的核心人員。我們的主要工作就是給短視頻做理解，知道作品的場(chǎng)景、人、物、情緒、語(yǔ)音等等。有了這些理解后，就可以很方便地進(jìn)行流量分發(fā)。把作品精準(zhǔn)發(fā)給喜歡它的人群。如果沒(méi)有那個(gè)時(shí)候深度學(xué)習(xí)的爆發(fā)，流量分發(fā)將會(huì)很困難。

快手內(nèi)部對(duì)算法的重視程度極高，宿華本身是一個(gè)非常技術(shù)范的人，智商超群、情商超群、精力也超群。我們一直說(shuō)，他寫(xiě)代碼的速度只受限于他的手速。有一年大家春節(jié)回家，他自己默默把快手底層C++庫(kù)做了升級(jí)。

虎嗅：當(dāng)時(shí)卷嗎？

姜濤：不太好稱(chēng)之為“卷”，更多是高速增長(zhǎng)，因?yàn)闃I(yè)務(wù)發(fā)展太快了。這個(gè)東西你不做，其他人就會(huì)做。當(dāng)時(shí)沒(méi)有任何資源限制和崗位限制，可以?xún)?nèi)部合作。其實(shí)更多的是成就感，希望自己做到東西可以服務(wù)廣大的用戶(hù)，幫助公司更加快速的成長(zhǎng)。

虎嗅：當(dāng)時(shí)內(nèi)部是一個(gè)鼓勵(lì)創(chuàng)新的氛圍？

姜濤：是的，那時(shí)候百花齊放，如果你有好的想法，公司就會(huì)讓你做。2016年我提議做AI音樂(lè)，當(dāng)時(shí)谷歌開(kāi)源了一個(gè)實(shí)時(shí)音樂(lè)模型叫做Mamenta，這是上一波深度學(xué)習(xí)階段標(biāo)志性的事件。AI音樂(lè)生成在2016年還是一個(gè)很玄幻的方向，商業(yè)化還不清晰。當(dāng)時(shí)宿華和李巖都很支持，還給配了一個(gè)業(yè)務(wù)顧問(wèn)——阿怪老師（陳志翰），他給張惠妹、蕭敬騰等很多歌手作曲，我們一周三個(gè)半天面對(duì)面聊，那段時(shí)間，我的音樂(lè)素養(yǎng)完成了蛻變。

虎嗅：阿怪給你帶來(lái)了什么？

姜濤：他是一個(gè)很有趣的人，他號(hào)稱(chēng)自己是整個(gè)音樂(lè)圈代碼寫(xiě)的最好的。他也是音樂(lè)圈里對(duì)算法最熱愛(ài)的，他喜歡深度學(xué)習(xí)。他自己有很高的音樂(lè)素養(yǎng)，但他也很明白大眾需要什么，他知道藝術(shù)有時(shí)候就是生意。他讓我對(duì)音樂(lè)的世界觀(guān)發(fā)生了轉(zhuǎn)變，也意識(shí)到音樂(lè)是可以拿模型來(lái)做的。

虎嗅：你們一起磨合了多久？

姜濤：我們一起做了三年，阿怪老師2019年心梗去世了，2020年左右我們?nèi)啄Ｐ妥鐾?，上線(xiàn)了一個(gè)產(chǎn)品叫做“小森唱”，用比較特殊的方式把一些小模型串在一起，用戶(hù)給一個(gè)主題就能做出一首歌，但這個(gè)產(chǎn)品太超前了，產(chǎn)品上線(xiàn)之后，發(fā)現(xiàn)市場(chǎng)并不是特別認(rèn)可。我也是在那個(gè)時(shí)候離開(kāi)了快手。其實(shí)做“小森唱”的時(shí)候，也是希望是給阿怪老師的一份特殊禮物，希望他在另一個(gè)世界可以快樂(lè)地玩音樂(lè)、玩算法。

“Aha moment”：見(jiàn)證了智能涌現(xiàn)的時(shí)刻

虎嗅：離開(kāi)快手的原因是什么？

姜濤：在快手遇到了自己成長(zhǎng)的瓶頸，想要在一個(gè)新的環(huán)境中獲得成長(zhǎng)。

虎嗅：接著你選擇了騰訊音樂(lè)，為什么做這個(gè)選擇？

姜濤：我到騰訊音樂(lè)的時(shí)候抱著一個(gè)理想，希望有更多訓(xùn)練數(shù)據(jù)。

虎嗅：你到騰訊音樂(lè)的時(shí)候，做了哪些事？

姜濤：當(dāng)時(shí)騰訊音樂(lè)算法團(tuán)隊(duì)比較分散，不利于將算法研發(fā)深化。我去了之后，花了半年時(shí)間把零零散散的小團(tuán)隊(duì)組建成了一個(gè)大團(tuán)隊(duì)，叫做天琴實(shí)驗(yàn)室，這個(gè)實(shí)驗(yàn)室最后承接了QQ音樂(lè)、全民K歌兩個(gè)大平臺(tái)所有音視頻算法需求。我們上線(xiàn)了各種有趣的功能，例如K歌的多維度打分、智能修音、無(wú)損音樂(lè)超分、有聲小說(shuō)等。后來(lái)還做了一對(duì)數(shù)字人，一個(gè)叫小天，一個(gè)叫小琴，是一對(duì)兄妹，她們成了天琴實(shí)驗(yàn)室的歌聲合成、舞蹈生成、燈光生成等多項(xiàng)技術(shù)的最佳載體。

虎嗅：但是2023年你又從QQ音樂(lè)離開(kāi)，這個(gè)怎么考慮？

姜濤：其實(shí)QQ音樂(lè)也好、網(wǎng)易云音樂(lè)也好，這些音樂(lè)流媒體平臺(tái)的核心資產(chǎn)是曲庫(kù)版權(quán)，而大模型訓(xùn)練需要較大的算力資源、人力資源和較長(zhǎng)周期的投入，因此在大模型上的投入比較謹(jǐn)慎。當(dāng)然這件事情是對(duì)的，作為一個(gè)音樂(lè)版權(quán)公司，還是以核心資產(chǎn)收益最大化為目的，所以從商業(yè)邏輯上來(lái)看，我認(rèn)為這種謹(jǐn)慎是一個(gè)很正確的決定。

虎嗅：從騰訊音樂(lè)出來(lái)之后，你去了昆侖萬(wàn)維。

姜濤：就像之前說(shuō)的，騰訊系比較喜歡后發(fā)先至的打法，而我當(dāng)時(shí)想盡快投入到大模型訓(xùn)練中，而當(dāng)時(shí)國(guó)內(nèi)愿意為AI音樂(lè)這件事做大投入的只有昆侖天工，所以我從騰訊音樂(lè)離職，加入昆侖天工擔(dān)任AI音樂(lè)團(tuán)隊(duì)的CTO，做出全國(guó)第一個(gè)端到端生成的音樂(lè)大模型。

那個(gè)時(shí)候，Suno3.0也剛剛發(fā)布，整個(gè)市場(chǎng)非常熱鬧，雖然那時(shí)候效果不好，但大家覺(jué)得未來(lái)可期。

周亞輝老板是一個(gè)非典型的連續(xù)創(chuàng)業(yè)者，他組建一個(gè)完整的AI產(chǎn)品矩陣，天宮音樂(lè)、天宮搜索、社交動(dòng)漫，然后這個(gè)AI板塊也讓整個(gè)昆侖的股價(jià)起飛。包括現(xiàn)在，周總也是少數(shù)能從AI上獲得收益的投資人。

虎嗅：但是在昆侖就呆了一年就走了，為什么？

姜濤：昆侖天工有自己的產(chǎn)品迭代路徑，但我希望我做的事情能對(duì)整個(gè)中國(guó)的音樂(lè)產(chǎn)業(yè)有所改變。

虎嗅：這個(gè)改變你指的是音樂(lè)平權(quán)嗎？

姜濤：是的，這可能和快手給我?guī)?lái)的影響有關(guān)。我希望每個(gè)人都能用音樂(lè)記錄生活。我給我妻子寫(xiě)的歌曲，我們現(xiàn)在每年還會(huì)拿出來(lái)聽(tīng)一聽(tīng)，那時(shí)候還把我女兒的聲音錄進(jìn)去。短視頻的平權(quán)成就了快手，我相信音樂(lè)平權(quán)也能誕生偉大的公司，整個(gè)音樂(lè)行業(yè)和IP生態(tài)都會(huì)被重構(gòu)，我相信外賣(mài)小哥、農(nóng)民工，他們的故事、他們的音樂(lè)，也能感動(dòng)我們。

我們?cè)诳焓稚嫌幸粋€(gè)農(nóng)民工兄弟，他把李榮浩的《爸爸媽媽》這首歌帶火了一把。還有一次，我在快手上聽(tīng)到了一個(gè)蒙古牧民唱的歌，有非常好的顱腔共鳴和漂移，我雖然聽(tīng)不懂，但那種汗毛炸裂的感覺(jué)讓我終生難忘。我相信普通人也一樣可以做出感人的音樂(lè)。

虎嗅：ChatGPT出來(lái)之后，每個(gè)人都有個(gè)所謂的“Aha moment”，對(duì)你來(lái)說(shuō)是什么樣的？

姜濤：我當(dāng)時(shí)在昆侖天工，可以說(shuō)見(jiàn)證了智力涌現(xiàn)的力量。比如我們同樣的模型架構(gòu)，在喂幾十萬(wàn)首歌數(shù)據(jù)的時(shí)候，會(huì)像一個(gè)小孩子唱歌一樣，這里也不對(duì)，那里也有問(wèn)題，但是當(dāng)?shù)搅饲f(wàn)首歌的時(shí)候，效果突然出奇的好，讓模型從一個(gè)懵懂孩童一瞬間成長(zhǎng)出色音樂(lè)家。一旦你經(jīng)歷智力涌現(xiàn)，你會(huì)對(duì)AI有深深信仰，相信當(dāng)下一切僅僅是個(gè)開(kāi)始，AI會(huì)改變整個(gè)人類(lèi)的未來(lái)。

“我們現(xiàn)在有個(gè)錘子，但怎么敲我們還在嘗試”

虎嗅：選擇創(chuàng)業(yè)是先拿融資還是自有資金？

姜濤：音潮的投資人是一個(gè)很有理想和抱負(fù)的人，當(dāng)時(shí)市場(chǎng)上大多數(shù)的公司開(kāi)始專(zhuān)注垂直大模型，我們聊完后都認(rèn)為音樂(lè)是一個(gè)發(fā)力點(diǎn)，就開(kāi)始啟動(dòng)了。

虎嗅：這一年多產(chǎn)品迭代了多少次？

姜濤：我們產(chǎn)品剛剛上線(xiàn)，更多是把模型效果做好；下一個(gè)階段，我們的產(chǎn)品會(huì)進(jìn)入很高頻的迭代狀態(tài)，基本上兩周到三周就會(huì)有一個(gè)新的版本上線(xiàn)，增加很多有趣的功能，激發(fā)用戶(hù)的創(chuàng)作熱情。

虎嗅：建團(tuán)隊(duì)花了多長(zhǎng)時(shí)間？

姜濤：大概半年多才湊齊基本的人員，現(xiàn)在也在不斷吸引業(yè)內(nèi)優(yōu)秀的同學(xué)。我們核心團(tuán)隊(duì)里有很多音樂(lè)學(xué)院畢業(yè)的同學(xué)，我們僅算法同學(xué)現(xiàn)在都可以組成一個(gè)樂(lè)團(tuán)了。比如我們現(xiàn)在做評(píng)測(cè)的同學(xué)是清華大學(xué)阿卡貝拉樂(lè)團(tuán)的創(chuàng)始成員，之前是在清華讀芯片設(shè)計(jì)的博士，他能作為算法同學(xué)和音樂(lè)老師直接溝通的橋梁。

虎嗅：對(duì)你來(lái)說(shuō)你現(xiàn)在的挑戰(zhàn)是什么？

姜濤：我需要一邊做算法研發(fā)和工程迭代，一邊往產(chǎn)品和商業(yè)化的路徑上去做，后面這個(gè)是我的之前技能棧中有所欠缺的。

虎嗅：產(chǎn)品現(xiàn)在剛上線(xiàn)，你自己有發(fā)現(xiàn)一些問(wèn)題嗎？

姜濤：其實(shí)我們現(xiàn)在最大的痛點(diǎn)就是，激發(fā)用戶(hù)的創(chuàng)作熱情，找到更多大家要做歌的場(chǎng)景，并讓制作歌曲的產(chǎn)品路徑盡可能短。我們想過(guò)很多路徑，比如Suno，他的產(chǎn)品受眾很清晰就是專(zhuān)業(yè)音樂(lè)人的生產(chǎn)工具和類(lèi)Spotify的音樂(lè)流媒體平臺(tái)。

還有一家公司叫Riffusion，這家公司的交互非常有趣，他們想要采用GPT聊天的方式來(lái)創(chuàng)作音樂(lè)。這家公司的歷史比suno還早，在文生圖Stability模型出來(lái)后出來(lái)之后，這家公司做了件很酷的事，就是生成鋼琴的語(yǔ)譜圖，然后再把它轉(zhuǎn)化成可以聽(tīng)的聲音。Riffusion早期只能生成一些短片段，二三十秒，但是他們很有創(chuàng)意把這個(gè)缺陷變成了一種產(chǎn)品format，命名為‘riff’。

我們其實(shí)也在嘗試Agent的音樂(lè)創(chuàng)作路徑，我相信這些新的交互可以激發(fā)不一樣的創(chuàng)作火花。

虎嗅：你們針對(duì)這些痛點(diǎn)做了哪些事？

姜濤：基于自研模型的能力，我們嘗試讓用戶(hù)知道音樂(lè)是可以用來(lái)“玩”的，并為他們準(zhǔn)備了很多好玩有趣的功能。例如：“音果”就非常好玩，用戶(hù)可以?xún)墒赘璧囊爻槿〕鰜?lái)，混合成一首新的歌，然后在這個(gè)基礎(chǔ)上可以層層堆疊，并把創(chuàng)作過(guò)程游戲化。兩個(gè)用戶(hù)的歌曲可以基于“音果”的功能建立一個(gè)弱的社交關(guān)系，我們成為“音緣”。把諧音梗也玩得比較徹底。

應(yīng)該說(shuō)我們現(xiàn)在有一個(gè)錘子，但這個(gè)錘子敲碎哪些罐子？我們現(xiàn)在還在不斷嘗試。比如我們希望能夠先擊中那些更加細(xì)分和垂直領(lǐng)域的人群，再這些從垂直人群中破圈，泛化到更大的人群。

虎嗅：我們現(xiàn)在有鎖定一些目標(biāo)群體嗎？

姜濤：首先是學(xué)生，他們思維更加活躍，也更容易接受新鮮事物，有更高的使用頻率也有使用時(shí)間。

虎嗅：現(xiàn)在還是一個(gè)產(chǎn)品發(fā)散的狀態(tài)？

姜濤：對(duì)的，我們現(xiàn)在還是去試，如果有的內(nèi)容反響不大，我們就會(huì)立刻撤掉。

虎嗅：你們的產(chǎn)品迭代速度怎么樣？

姜濤：我們移動(dòng)端是每三周一次迭代，網(wǎng)頁(yè)端是雙周一次迭代。

虎嗅：自己訓(xùn)練模型的話(huà)這部分的成本很高？

姜濤：在訓(xùn)練和推理中我們也在和一些國(guó)內(nèi)的芯片廠(chǎng)商合作，用國(guó)產(chǎn)卡，性?xún)r(jià)比很高。因?yàn)闃I(yè)務(wù)請(qǐng)求量越來(lái)越大，我們會(huì)嘗試訓(xùn)推一體。推理請(qǐng)求量大的時(shí)候，我們會(huì)把一部分訓(xùn)練的機(jī)器拿來(lái)做推理，請(qǐng)求量下去之后再收回來(lái)。推理的成本是很低的，我覺(jué)得未來(lái)幾個(gè)月這個(gè)成本可以繼續(xù)下降。

虎嗅：騰訊前不久發(fā)布了AudioGenie音頻生成工具，你注意到了嗎？這對(duì)于音潮是否是一個(gè)挑戰(zhàn)？

姜濤：AudioGenie 更像是視頻或者圖像配音效，他們的多模態(tài)做得很好，不過(guò)完整的音樂(lè)作品不是這項(xiàng)工作的目標(biāo)和重點(diǎn)。

打造和用戶(hù)共創(chuàng)的數(shù)據(jù)飛輪

虎嗅：所以我們的商業(yè)模式和產(chǎn)品定價(jià)是什么樣的？

姜濤：我們B端是開(kāi)放API接口，C端按首收費(fèi)，可以免費(fèi)做四首歌，近期會(huì)上付費(fèi)，滿(mǎn)足用戶(hù)更大量的創(chuàng)作需求。

虎嗅：這個(gè)定價(jià)是怎么考慮的？

姜濤：我們打算做一個(gè)嘗試，而且我們也有免費(fèi)額度。如果你在我們這里做的歌，收聽(tīng)的人多了，你可以形成自己的IP，我們會(huì)按照播放量給創(chuàng)作者結(jié)算。我們現(xiàn)在其實(shí)是象征性收費(fèi)，而且四首歌的免費(fèi)額度對(duì)普通用戶(hù)來(lái)說(shuō)也是夠用的。我們?cè)趦和魳?lè)教育和AI教育場(chǎng)景下完全免費(fèi)使用。

我們也會(huì)在C端做一些衍生服務(wù)。因?yàn)槲覀円獙?shí)現(xiàn)音樂(lè)創(chuàng)作的平權(quán)，所以用戶(hù)在我們平臺(tái)上做的歌，版權(quán)完全屬于用戶(hù)。如果你想做相關(guān)的版權(quán)認(rèn)證，我們可以幫用戶(hù)做完。如果用戶(hù)想做分發(fā)，我們可以幫他們做分發(fā)渠道。

虎嗅：你們的數(shù)據(jù)壁壘怎么建立？

姜濤：我們花了一年多的時(shí)間建了國(guó)內(nèi)最大的音樂(lè)數(shù)據(jù)標(biāo)注庫(kù)，其中有我們從其它音樂(lè)科技公司購(gòu)買(mǎi)的，也有我們從錄音棚中購(gòu)買(mǎi)的，就是這樣一點(diǎn)點(diǎn)尋找和積累優(yōu)質(zhì)數(shù)據(jù)。在上海音樂(lè)學(xué)院于陽(yáng)教授和陳世哲教授的幫助下，有幾十名上海音樂(lè)學(xué)院的學(xué)生幫助我們做音樂(lè)數(shù)據(jù)的標(biāo)注，構(gòu)建我們的數(shù)據(jù)壁壘。我們與兩位教授也建立了音樂(lè)大模型的聯(lián)合實(shí)驗(yàn)室，進(jìn)一步加深雙方的合作。

虎嗅：你們?nèi)绾挝脩?hù)并維持用戶(hù)粘性？

姜濤：第一是我們提供了一個(gè)收益的渠道，用戶(hù)可以通過(guò)養(yǎng)成自己的IP并獲得收益，就能得到成就感。第二是我們提供了市場(chǎng)上沒(méi)有的玩法，足夠好玩可以吸引用戶(hù)。

我們的核心理念是，用戶(hù)花在作品上的時(shí)間越多，用戶(hù)資產(chǎn)就能夠獲得增值，比如他點(diǎn)了個(gè)贊，或者收藏一張歌單，用戶(hù)價(jià)值就會(huì)增加。

虎嗅：ToB和To C的節(jié)奏怎么把握？

姜濤：我們同步進(jìn)行，現(xiàn)在還在摸索當(dāng)中。因?yàn)橐魳?lè)平權(quán)未來(lái)的市場(chǎng)是什么樣，對(duì)我們來(lái)說(shuō)就像個(gè)迷霧。不過(guò)我相信，在快手和抖音剛做起來(lái)的時(shí)候，也并沒(méi)有看到清晰的商業(yè)化路徑，一直到流量激增之后，出現(xiàn)了新的商業(yè)火花。

我們要做的事情是，我們知道天上有一個(gè)大餅，但什么時(shí)候掉下來(lái)，我們不知道，我們得把自己的盤(pán)子做大，如果盤(pán)子不夠大，餅掉下來(lái)是接不到的。

虎嗅：B端的生意，大廠(chǎng)其實(shí)也在做，你們?cè)趺雌胶膺@個(gè)關(guān)系？

姜濤：不止一個(gè)人問(wèn)過(guò)這個(gè)問(wèn)題，我們首先進(jìn)入生態(tài)位，我在生態(tài)位上有一個(gè)支撐，那么你給我投錢(qián)就是一個(gè)路徑。

虎嗅：如果和大廠(chǎng)合作，你們不擔(dān)心自己的數(shù)據(jù)可能會(huì)變成大廠(chǎng)模型的某個(gè)部分嗎？

姜濤：目前不會(huì)，當(dāng)然在中間某個(gè)節(jié)點(diǎn)可能需要做一些取舍。

“逼自己每月花200美金-300美金在A(yíng)I產(chǎn)品上”

虎嗅：出海節(jié)奏是什么樣的？

姜濤：如果出海的話(huà)，我們的產(chǎn)品形態(tài)會(huì)有區(qū)隔，我們會(huì)和Suno形成差異化的服務(wù)。我們現(xiàn)在是和一些MV廠(chǎng)家合作給他們做歌。另一個(gè)方向是我們現(xiàn)在有一個(gè)小產(chǎn)品，比如你發(fā)Youtube需要有版權(quán)的配樂(lè)，但如果沒(méi)有版權(quán)，就無(wú)法上架。我們會(huì)把AI音樂(lè)作品做一個(gè)曲庫(kù)并配上豐富的標(biāo)簽，用戶(hù)可以付費(fèi)使用。

虎嗅：Eleven Labs在語(yǔ)音合成上也走得很快，甚至也推出了Eleven Music的API，拿到了不錯(cuò)的估值，它會(huì)是未來(lái)音潮出海的對(duì)手嗎？

姜濤：Eleven Labs確實(shí)算是競(jìng)爭(zhēng)對(duì)手，它的語(yǔ)音合成是目前行業(yè)標(biāo)桿。商業(yè)模式上，我們是toB的API、toP的創(chuàng)作工具、toC的消費(fèi)平臺(tái)、音樂(lè)IP的衍生增值服務(wù)都有。國(guó)內(nèi)和國(guó)外的市場(chǎng)環(huán)境差異很大，很難走同一條路線(xiàn)。

虎嗅：音潮團(tuán)隊(duì)是一個(gè)跨學(xué)科背景和多元的團(tuán)隊(duì)，你們?cè)趺慈诤虾凸芾恚?/strong>

姜濤：我們的團(tuán)建是組織大家去聽(tīng)R&B livehouse，現(xiàn)在我們算法工程師可以湊成一個(gè)樂(lè)隊(duì)了，可能我們下一次團(tuán)建就是包個(gè)小場(chǎng)地自己演奏。很難想象一群很i的算法同學(xué)，在面對(duì)音樂(lè)時(shí)會(huì)展很e的一面，這種反差非常有趣。

虎嗅：團(tuán)隊(duì)有OKR或者KPI嗎？音樂(lè)人都偏理想化，算法工程師偏理性。

姜濤：有OKR的，因?yàn)榇蠹叶济鞔_知道我們要跑得更快才能活下來(lái)。我們的產(chǎn)品負(fù)責(zé)人是中央音樂(lè)學(xué)院畢業(yè)，他也明確知道商業(yè)化的互聯(lián)網(wǎng)產(chǎn)品是什么樣，曲庫(kù)的負(fù)責(zé)人也是音樂(lè)人，做了很多年樂(lè)曲的交易。我見(jiàn)過(guò)很多互聯(lián)網(wǎng)音樂(lè)做得很好的公司，但最終沒(méi)能活下來(lái)，所以我需要平衡一下，讓大家有快樂(lè)的一面，也有緊迫的一面。

虎嗅：如果公司是一個(gè)樂(lè)隊(duì)，你承擔(dān)的是一個(gè)什么角色？

姜濤：我給大家提供彈藥，給大家劃定明確的邊界，讓大家快樂(lè)的把自己的技術(shù)棧發(fā)揮到最大。

虎嗅：回溯到公司剛成立，有哪些決定現(xiàn)在想來(lái)比較后悔？

姜濤：有些東西可以做得更快。比如產(chǎn)品上線(xiàn)，如果可以快一點(diǎn)，也許可以在世界人工智能大會(huì)之前讓產(chǎn)品更完備。

虎嗅：最近讓你焦慮的事是什么？

姜濤：產(chǎn)品剛上線(xiàn)，需要有一個(gè)增長(zhǎng)點(diǎn)和好玩的功能點(diǎn)。

虎嗅：你們產(chǎn)品上線(xiàn)到現(xiàn)在注冊(cè)用戶(hù)有多少？

姜濤：依托waic的宣傳，已經(jīng)有幾十萬(wàn)的注冊(cè)量了。我們還在通過(guò)不停迭代，給用戶(hù)新的刺激點(diǎn)。

世界人工智能大會(huì)上姜濤向觀(guān)眾介紹產(chǎn)品 圖片由受訪(fǎng)者本人提供

虎嗅：現(xiàn)在主要工作在做什么？

姜濤：主要是招人和產(chǎn)品決策。我現(xiàn)在給自己一個(gè)規(guī)定，每個(gè)月要花200美金-300美金在新的AI產(chǎn)品上，我覺(jué)得只有付了費(fèi)才能逼迫自己更加耐心和專(zhuān)注使用這些產(chǎn)品，同時(shí)每個(gè)月面對(duì)賬單時(shí)，我也會(huì)被迫思考這些AI產(chǎn)品提供的功能是否值得繼續(xù)付費(fèi)。

虎嗅：你覺(jué)得哪些產(chǎn)品做得不錯(cuò)？

姜濤：可靈、即夢(mèng)、PixVerse的視頻生成做的很不錯(cuò)，我的很多視覺(jué)素材都是用他們做到的?？吹紸I talk的Yuri后，我還花時(shí)間做了一個(gè)數(shù)字人的MV作品，但是與Yuri差異巨大，建立一個(gè)類(lèi)似的視覺(jué)IP目前還有不小的門(mén)檻，雖然工具大家都能平等使用。

Riffusion提供了新的音樂(lè)交互方式，它通過(guò)多輪聊天來(lái)完成創(chuàng)作，我不確定這條路對(duì)不對(duì)，它與傳統(tǒng)的基于daw的創(chuàng)作方式非常不同，它選擇了與Suno不一樣的路線(xiàn)，但如果這條路是對(duì)的，這個(gè)交互方式和模式會(huì)很有趣，我們也會(huì)在自己產(chǎn)品上嘗試。

我也會(huì)經(jīng)常使用Suno，它的Suno Studio對(duì)于音樂(lè)人而言將是一個(gè)顛覆性的產(chǎn)品。我會(huì)在openrouter上觀(guān)察近期市場(chǎng)上各類(lèi)模型的使用分布，以及使用這些模型的創(chuàng)新產(chǎn)品。

本文來(lái)自虎嗅，原文鏈接：https://www.huxiu.com/article/4733039.html?f=wyxwapp