杭州這家公司，訓(xùn)了個「最懂中國話」的AI音樂大模型

熱鬧和爭議，是當(dāng)下 AI 音樂行業(yè)的真實底色。

上個月，Suno 完成 4 億美元 D 輪融資，估值達到 54 億美元，穩(wěn)居全球 AI 音樂賽道 Top 1。

與此同時，它與環(huán)球音樂、索尼音樂的版權(quán)訴訟仍未了結(jié)，涉及曲目從最初的 560 首增加到超過 6.1 萬首。

一邊是資本瘋狂涌入，一邊是行業(yè)規(guī)則尚未成型。

國內(nèi)的競爭格局同樣處于膠著狀態(tài)。

字節(jié)跳動、騰訊、網(wǎng)易這類大廠把 AI 音樂當(dāng)作生態(tài)補充和流量入口，昆侖萬維、MiniMax 這類大模型公司把它當(dāng)作獨立商業(yè)化路徑，更多垂直創(chuàng)業(yè)公司則在細分場景里找機會。

杭州音律閃動不算新玩家。

早在 2019 年，創(chuàng)始人龍勇便定了 AI 音樂賽道的長期戰(zhàn)略規(guī)劃，團隊自此持續(xù)深耕音樂生成技術(shù)領(lǐng)域。項目核心合伙人也擁有網(wǎng)易、阿里頭部互聯(lián)網(wǎng)音樂業(yè)務(wù)的實操經(jīng)驗，兼具產(chǎn)業(yè)落地與 AI 技術(shù)積累的雙重背景。

就在近日，其全棧自研的歌歌 AI 音樂大模型正式完成版本迭代、全面上線。

該模型主打本土化 AI 音樂創(chuàng)作，人聲自然通透、情緒表達細膩，曲風(fēng)高度本土化，對華語流行、國風(fēng)、民謠的適配遠超通用模型。

它的生成效率也行業(yè)領(lǐng)先。單張 H 系 GPU 約 10 秒即可產(chǎn)出一首 3 分鐘立體聲歌曲，并同步輸出人聲、伴奏分軌，兼具低成本商用的經(jīng)濟性。

此外，這家公司還干了兩件事，一是與字節(jié)跳動簽署非獨家版權(quán)分成協(xié)議；一是啟動中國民樂專屬 AI 模型的研發(fā)和線下采風(fēng)

體驗鏈接：https://gegemusic.cn/

從零訓(xùn)練：一個很懂華語的音樂大模型

「全棧自研」和「基于開源模型微調(diào)」，在用戶感知上可能差不多，在技術(shù)路線上是兩條完全不同的路。

歌歌 AI 音樂大模型從零開始完整預(yù)訓(xùn)練，沒有基于任何現(xiàn)有開源模型做二次調(diào)用。模型的底層語言直覺，是完全在華語音樂數(shù)據(jù)上建立起來的。

訓(xùn)練分三個完整階段推進。第一階段訓(xùn)練音頻壓縮與重建的基礎(chǔ)感知模型（VAE），建立模型對音頻的基本理解能力；第二階段以全授權(quán)華語曲庫為基礎(chǔ)，從零預(yù)訓(xùn)練十億級參數(shù)擴散主干；第三階段以華語聽眾的實際審美偏好為標(biāo)準(zhǔn)，對模型進行偏好對齊優(yōu)化（音樂領(lǐng)域的 DPO），讓生成結(jié)果向真實國內(nèi)用戶審美收斂。

咬字問題，是中文 AI 音樂被詬病最多的痛點，也是技術(shù)上最難解決的一個。

字音在演唱中的時序不是均勻分布的。「想」字的鼻音尾「ng」要收干凈，不能拖成模糊的鼻腔共鳴；「回」字的韻腹需要在正確的時間幀上完成收音。這些規(guī)律，英語語系的模型幾乎無法從訓(xùn)練數(shù)據(jù)中自然習(xí)得。

歌歌 AI 音樂大模型引入了「音素 - 時間幀軟對齊先驗機制」，把每個中文字符的發(fā)音時序信息，以注意力偏置的形式顯式注入生成過程，相當(dāng)于在生成前就告訴模型「這個字從第幾幀開始、到第幾幀結(jié)束」。這是一個工程上需要大量標(biāo)注數(shù)據(jù)才能做好的方向。

人聲和伴奏的同步感，來自雙流獨立生成架構(gòu)。大多數(shù) AI 音樂的做法是先生成伴奏，再往上疊人聲，兩者在節(jié)奏和情感上容易出現(xiàn)微妙的脫節(jié)。歌歌 AI 的人聲和伴奏各走獨立的生成通路，兩條通路之間通過跨流注意力機制完成節(jié)奏與和聲的實時對齊。

模型同步輸出獨立的人聲分軌與伴奏分軌，可直接交付后期混音，適配短視頻配樂、原創(chuàng)音樂制作、直播 BGM、K 歌伴奏等下游使用場景。

情緒穩(wěn)定不漂移，依賴的是分層多維條件控制體系。情緒、曲風(fēng)、調(diào)性這類全局風(fēng)格信息，通過自適應(yīng)歸一化機制（AdaLN-Zero）調(diào)制模型每一層的生成行為，確保整首歌的情緒方向從頭到尾保持一致。歌詞與旋律則通過交叉注意力機制以序列級精度逐幀對齊。關(guān)鍵的設(shè)計在于不同條件維度擁有獨立的引導(dǎo)強度控制，創(chuàng)作者可以分別調(diào)節(jié)「緊貼歌詞」與「旋律自由發(fā)揮」的權(quán)重，實現(xiàn)輸出結(jié)果更精細控制。風(fēng)格理解上，模型采用跨模態(tài)編碼器，文本描述與音頻參考共享同一語義嵌入空間。

效率層面，模型采用非自回歸并行生成架構(gòu)，把整首歌的潛在表示空間同時鋪開并行去噪，單張 H 系 GPU，約 10 秒即可完成一首 3 分鐘完整歌曲的生成，實時率（RTF）約為 0.05，即生成速度是播放速度的 20 倍。配合流匹配少步采樣和模型量化加速等工程優(yōu)化，單首歌曲的推理成本控制在極低量級。這樣的成本結(jié)構(gòu)，才真正撐得起規(guī)模化商用。用戶端還有分塊續(xù)寫機制加持，無需等全曲生成完畢，即可邊生成邊收聽。

長期布局：版權(quán)分成與數(shù)據(jù)護城河

國內(nèi) AI 音樂商業(yè)化的卡點，長期出在版權(quán)上。

AI 生成內(nèi)容的版權(quán)主體不清晰，平臺擔(dān)心連帶侵權(quán)風(fēng)險，大多數(shù)流媒體對 AI 音樂「允許上架但無法產(chǎn)生收益」。有業(yè)內(nèi)人士描述過這一困境，主動標(biāo)注 AI 音樂就無法獲得收益，不標(biāo)注平臺又能識別出來進入審核。

這次，歌歌 AI 與字節(jié)跳動簽署非獨家音樂版權(quán)分成合作協(xié)議。依托歌歌 AI 模型生成的原創(chuàng)歌曲、錄音制品、MV 版權(quán)內(nèi)容，全量合規(guī)上架抖音、剪映、汽水音樂、番茄暢聽、西瓜視頻、今日頭條等全字節(jié)系平臺。抖音和剪映的億萬創(chuàng)作者，可以免費選用這批版權(quán)音樂制作視頻和直播配樂；汽水音樂的會員付費、數(shù)字專輯與單曲銷售、平臺廣告分成，以及番茄系平臺的有效播放收益，將按合同約定進行分成結(jié)算。后續(xù)新生成的非獨家版權(quán)曲目，將自動納入授權(quán)曲庫，持續(xù)擴充供給。

歌歌 AI 與字節(jié)的合作，是以自研模型為版權(quán)主體基礎(chǔ)，以協(xié)議形式確立分成機制，合規(guī)進入國內(nèi)最大的創(chuàng)作者生態(tài)。

這條路徑在技術(shù)上的前提，是版權(quán)歸屬足夠清晰，而「從零自研、全授權(quán)語料訓(xùn)練」恰好是支撐這一前提的關(guān)鍵。自研模型產(chǎn)出內(nèi)容 → 版權(quán)歸屬清晰 → 合規(guī)進入平臺 → 產(chǎn)生可分配收益，由此技術(shù)路線與商業(yè)路徑形成一個閉環(huán)。

AI 生成民樂，是當(dāng)前所有模型的共同短板，原因在于訓(xùn)練數(shù)據(jù)里缺少足夠的真實民樂錄音。市面上流通的「古風(fēng)音樂」，大多是經(jīng)過電子化二次加工的產(chǎn)物，模型從中學(xué)到的只是古風(fēng)的外形，學(xué)不到傳統(tǒng)演奏的真實音色和韻味。這個問題不是算法層面能修的，需要從數(shù)據(jù)源頭解決。

歌歌 AI 的做法是自己去錄。項目團隊已啟動全國多地線下采風(fēng)，深入非遺民俗村落、地方戲曲院團和民間演奏工作室，實錄原生樂器音源、民間小調(diào)與地方戲曲唱腔，完成版權(quán)歸檔后作為獨家訓(xùn)練數(shù)據(jù)。

他們還同步啟動的「歌歌 AI 民樂大模型」項目，規(guī)劃分三步推進：建立傳統(tǒng)樂器與地方戲曲唱腔的專屬聲音庫；基于現(xiàn)有架構(gòu)微調(diào)民樂生成鏈路，實現(xiàn)獨奏、合奏、古風(fēng)人聲演唱的高質(zhì)量生成；最終在客戶端上線獨立的「民樂創(chuàng)作專區(qū)」，向所有用戶開放。

這個項目在現(xiàn)階段沒有明確的商業(yè)回報時間表，但大多數(shù)團隊都在用相近的開源數(shù)據(jù)訓(xùn)練模型，率先采集獨家第一手數(shù)據(jù)的團隊，將會形成一道很難被快速復(fù)制的護城河。

結(jié)語

最近，「程序員回應(yīng) AI 寫歌 2 個月賺 18 萬」的詞條爆上熱搜。流量和變現(xiàn)門檻，都在被 AI 音樂重新定義。

熱搜之下，是一個還在快速演進的行業(yè)。流媒體平臺 Deezer 的數(shù)據(jù)顯示，今年 4 月，平臺每天新增的 AI 歌曲接近 7.5 萬首，占每日新增投稿的 44%，是 1 月的七倍以上。

曲庫在膨脹，AI 平臺的商業(yè)化卻總在爬坡。昆侖萬維旗下的 Mureka，是國內(nèi)第一家公開宣布 AI 音樂業(yè)務(wù)毛利轉(zhuǎn)正的公司，年化流水約 1200 萬美元。放在整個音樂產(chǎn)業(yè)里，這個體量不算大。多數(shù)團隊現(xiàn)在還在驗證一個問題：用戶到底愿不愿意為 AI 生成的內(nèi)容買單。

眼下這個階段，海外大模型在通用能力上領(lǐng)跑，國內(nèi)玩家各自尋找差異化切口。歌歌 AI 選擇做「比所有人都更懂中國人的音樂」。

這條路投入重，見效慢。從零預(yù)訓(xùn)練，全華語語料體系，獨家民樂采集，每一步都是時間和資源的沉淀。與字節(jié)的合作，給這套打法補上了商業(yè)可行性的驗證。民樂項目的立項，則說明這個團隊在想更長的時間尺度。

這場競賽還在持續(xù)，誰能率先跑通「生成 — 確權(quán) — 分發(fā) — 變現(xiàn)」的完整鏈路，誰就有機會在下一輪洗牌中留在牌桌上。