剛剛，Vidu S1 重磅來襲，視頻生成邁入實時交互時代！

機器之心編輯部

視頻生成大模型的競爭，正在從誰生成得更好看，轉(zhuǎn)向誰能實時互動。

過去一年多，主流視頻大模型的迭代方向大體相似：提升分辨率、拉長生成時長、優(yōu)化運動一致性、增強指令可控性。用戶輸入提示詞，模型完成推理后輸出一段長度相對固定的視頻，這幾乎已經(jīng)成為行業(yè)默認(rèn)流程。

但實時交互場景正在提出新的要求。

視頻通話、實時陪伴、虛擬偶像、互動直播，都無法只依賴離線生成一段成片。用戶會不斷提問、打斷、引導(dǎo)角色做出新的反應(yīng)；角色也需要在對話過程中持續(xù)理解語音、調(diào)整動作、維持形象，并把新的反饋實時呈現(xiàn)在畫面里。

換句話說，視頻模型不再只需要生成得好，還要隨時聽得懂、馬上有反應(yīng)、長時間不掉線。

正是在這個節(jié)點上，生數(shù)科技把 Vidu S1 帶到了實時交互這條新路線上。

在今天舉行的 2026 全球數(shù)字經(jīng)濟大會上，生數(shù)科技創(chuàng)始人朱軍正式對外發(fā)布全新實時交互模型 Vidu S1。該模型由朱軍教授的 00 后博士生張金濤擔(dān)任負(fù)責(zé)人，帶領(lǐng)團隊完成 Vidu S1 全鏈路研發(fā)。Vidu S1是生數(shù)科技通用世界模型整體布局在實時交互式生成方面的一個重要體現(xiàn)。

Vidu S1 面向的是一類全新的使用場景：讓視頻模型從離線成片，走向可對話、可響應(yīng)、可持續(xù)在線的實時交互。它的核心能力包括語音實時控制視頻生成內(nèi)容、無限長實時生成、540P (960×540) + 25FPS (最高可支持 42FPS) 實時交互，以及自定義初始圖像與音色。難得的是，這套實時交互能力在消費級顯卡上就能跑起來。

這種革新改寫了數(shù)字人的創(chuàng)建流程。

過去，數(shù)字人的制作更像一個小型項目：需要準(zhǔn)備素材、完成建模或訓(xùn)練，再做口型、動作和形象適配。制作周期從幾分鐘到一天不等。

Vidu S1 采用更純粹的生成式路線，省去了離線建模和角色訓(xùn)練環(huán)節(jié)。用戶只需上傳一張首幀圖，模型就能快速理解角色的身份、外觀和風(fēng)格，并在交互過程中實時生成該角色的表情、口型、動作與姿態(tài)；再結(jié)合自定義音色，數(shù)字人也能保持形象與音色的統(tǒng)一。

從「上傳素材等待訓(xùn)練」到「上傳首幀直接交互」，個性化數(shù)字人的使用門檻大幅降低。

我們也提前體驗了 Vidu S1 的實際效果。比如，我們上傳了一張最近爆火的負(fù)鼠表情包，只需簡單設(shè)置，一個會說天津話的負(fù)鼠角色就出現(xiàn)在了屏幕里。它不只能接話、順著話題往下聊，還能聽懂動作指令：你讓它比贊、摸鼻子、眨眼睛，它都能在畫面里實時做出對應(yīng)動作。

這正是 Vidu S1 最值得關(guān)注的地方。它并不是對已有視頻生成能力的常規(guī)升級，而是為實時交互式視頻模型確立了新的技術(shù)基準(zhǔn)。

AI 視頻的下一階段已經(jīng)浮現(xiàn)：生成質(zhì)量仍然重要，但已只是起點。能否實時交互，正在成為新的分水嶺。

從離線生成到實時交互，Vidu S1 定義視頻生成模型新基準(zhǔn)

從離線播放到雙向互動：交互范式的根本轉(zhuǎn)變

過去視頻生成模式可以概括為三步：用戶輸入提示，模型進行一系列推理計算，完成后一次性輸出一段音視頻內(nèi)容。這套邏輯本質(zhì)上是一次性內(nèi)容交付，用戶在生成過程中沒有任何介入和修改的空間。

Vidu S1 改變的正是這一交互范式。

它支持通過語音甚至攝像頭畫面與角色進行實時對話，用戶說一句話，模型立刻理解語義并同步生成對應(yīng)的視覺反饋，這個過程不是先生成完整視頻再播放，而是像視頻通話一樣邊理解、邊生成、邊輸出。用戶可以在互動過程中隨時改變指令，模型也會隨之調(diào)整下一步的畫面內(nèi)容，不需要重新發(fā)起一次生成請求。

值得一提的是，Vidu S1 還具備一定程度的場景理解能力：當(dāng)用戶開啟攝像頭，模型能識別畫面中的人物數(shù)量、動作狀態(tài)等信息，并據(jù)此給出實時反饋，而不只是被動響應(yīng)語音指令。這讓交互不再局限于對話本身，也延伸到了對物理環(huán)境的感知。

語音指令實時跟隨，不只是驅(qū)動嘴型，而是驅(qū)動行為

數(shù)字人技術(shù)發(fā)展到今天，多數(shù)產(chǎn)品仍停留在音頻驅(qū)動口型階段。這種方式的局限很明顯，動作數(shù)量有限、組合痕跡明顯，用戶很容易感覺到這是被安排好的表演，而不是真實的即時反應(yīng)。

Vidu S1 采用實時視頻生成技術(shù)架構(gòu)，讓模型不僅能聽清語音內(nèi)容，更能聽懂對話中的語義和情緒，并實時生成與之匹配的表情、手勢乃至完整的肢體動作，而不是從固定動作庫里調(diào)用現(xiàn)成片段。

語音指令 實時跟隨。從「語音驅(qū)動口型」邁向「語音驅(qū)動行為」，讓角色聽得懂、動得準(zhǔn)、反饋更自然

實時生成 無限時長。全球領(lǐng)先的無限時長，實時互動視頻大模型

支撐這套能力的，是自回歸擴散模型 (AR + Diffusion) 路線：模型并非一次性產(chǎn)出完整片段，而是基于已經(jīng)生成的歷史畫面，結(jié)合用戶當(dāng)前的語音、指令等上下文信息，實時預(yù)測并生成下一幀內(nèi)容。這種逐幀生成的方式，天然具備可被實時打斷和改寫的特性，用戶隨時發(fā)出的新指令，都能被模型實時理解并體現(xiàn)在后續(xù)畫面中，不必等待一整段視頻生成完畢再重新開始。

無限時長實時生成

除了交互式實時生成，Vidu S1 還首次實現(xiàn)了無限時長的實時視頻生成。即使連續(xù)生成數(shù)小時，畫面仍能保持穩(wěn)定，不會快速漂移或崩壞。

實現(xiàn)長時間連續(xù)互動，僅僅 “持續(xù)生成” 還不夠。模型還需要在長時間運行中同時保持角色身份穩(wěn)定、動作自然連貫，并能夠持續(xù)接收用戶指令、實時做出響應(yīng)。Vidu S1 既能在長時間生成中保持角色形象穩(wěn)定、動作自然連貫，也能持續(xù)接收用戶語音指令并實時作出響應(yīng)，率先實現(xiàn)無限時長的生成式視頻互動。

540P+25FPS 背后：實時交互拼的是模型與系統(tǒng)協(xié)同

在實時交互場景下，分辨率和幀率是直接決定用戶體驗是否流暢的關(guān)鍵門檻。視頻通話、直播互動這類場景對模型提出的要求是持續(xù)輸出、快速響應(yīng)，并且在長時間運行中保持幀率穩(wěn)定，任何一次卡頓或延遲都會被用戶直接感知。

Vidu S1 給出的答案是540P (960×540) 分辨率、25FPS 幀率 (最高支持 42FPS) 的實時生成能力，在同類實時交互方案中處于行業(yè)前列。

540P + 25 FPS 實時交互。支持 540P + 25 FPS 的高分辨率實時視頻互動生成 （最高支持 42 FPS）

要實現(xiàn)這樣的指標(biāo)，背后離不開模型架構(gòu)和系統(tǒng)工程兩個層面的協(xié)同優(yōu)化：

在模型側(cè)，Vidu S1 基于生數(shù)科技的 TurboDiffusion [1] 推理加速框架，通過少步生成、低比特注意力 SageAttention [2]、稀疏注意力 SLA [3] 和 SpargeAttention [4] 等推理優(yōu)化技術(shù)，大幅降低單幀生成所需的計算成本，在消費級顯卡上就可以實現(xiàn) 540P 分辨率、25FPS（最高支持 42 FPS）實時生成

在系統(tǒng)側(cè)，Vidu S1 基于生數(shù)科技的 TurboServe [5] 推理部署引擎，實現(xiàn)高效的推理請求調(diào)度。系統(tǒng)持續(xù)記錄用戶輸入、角色狀態(tài)和歷史畫面，并根據(jù)交互狀態(tài)動態(tài)調(diào)度計算資源。

通過模型推理與流式服務(wù)的協(xié)同優(yōu)化，Vidu S1 實現(xiàn)了從 “把視頻生成得更快”，到 “讓視頻持續(xù)在線、穩(wěn)定輸出、實時響應(yīng)” 的關(guān)鍵跨越。

540P + 25FPS (最高支持 42FPS) 讓實時視頻生成模型具備了進入視頻通話、直播、實時陪伴、互動游戲乃至 XR 場景的基礎(chǔ)能力門檻。這些場景對延遲穩(wěn)定性和長時間在線能力的要求，是傳統(tǒng)離線生成模型完全無法滿足的。

自定義角色，支持任意圖片與音色進行數(shù)字人創(chuàng)建

用戶在體驗頁面中可以上傳圖片創(chuàng)建自己的角色。無論是真人形象、動漫人物、萌寵，還是游戲角色和其他虛擬形象，都可以作為初始角色使用；聲音層面，用戶也可以選擇系統(tǒng)音色，或錄制自己的聲音進行定制。

這意味著，數(shù)字人的創(chuàng)建門檻被進一步降低。

普通用戶可以用寵物、插畫或自創(chuàng)人物生成互動角色；企業(yè)未來則可以通過 API，將品牌 IP、虛擬客服、數(shù)字主播、游戲 NPC 或教育陪練接入自己的業(yè)務(wù)。

Vidu S1 的想象空間，不再局限于數(shù)字人產(chǎn)品，而是進一步延伸到 AI Character、互動內(nèi)容和實時視頻基礎(chǔ)設(shè)施。

了解更多細(xì)節(jié)，可參考技術(shù)報告：https://jt-zhang.github.io/files/Vidu_S1.pdf

一手測試：女孩、學(xué)長、狐妖、蒙娜麗莎，都被 Vidu S1「喚醒」了

更重要的是，Vidu S1 是完全公開試玩的（https://www.vidu.cn/vidu-stream），可自定義初始圖像實時互動，同時還開放了 API 平臺。實際效果如何，我們親自上手體驗了一番。Vidu S1 預(yù)設(shè)了多個角色，用戶進入頁面后可以直接選擇角色開啟通話。

內(nèi)測體驗地址：

• 國內(nèi)地址：https://www.vidu.cn/vidu-stream
• API 地址：https://platform.vidu.cn/live/landing
• 客戶端體驗方式：在手機應(yīng)用商店搜索「Vidu AI Pro」下載最新版本，進入 APP 內(nèi)點擊「Vidu S1」即可體驗

我們首先從預(yù)置角色開始測試。用戶只要選定角色，就可以通過麥克風(fēng)直接發(fā)出語音指令。角色會在畫面中實時回應(yīng)，并根據(jù)對話內(nèi)容實時生成表情、口型和動作反饋。

通過視頻聊天，我們可以直接用語音指揮數(shù)字人做出不同動作。比如，當(dāng)我們要求它「舉起網(wǎng)球拍」這個動作時時，畫面中的數(shù)字人會根據(jù)指令自然調(diào)整身體姿態(tài)，抬手完成揮拍的動作。

又比如，當(dāng)我們發(fā)出「雙手放在胸前比心」的指令后，畫面中的數(shù)字人響應(yīng)很快，手部位置、身體姿態(tài)和表情銜接都比較自然。語音在這里已經(jīng)延伸為角色行為生成的控制信號。

在接下來這個測試中，數(shù)字人在回應(yīng)時語氣自然，節(jié)奏也與真實交流相符。它會順著用戶的問題繼續(xù)展開，也會根據(jù)當(dāng)前語境調(diào)整表情和狀態(tài)。尤其是在日常的閑聊場景里，這種自然接話的能力會讓角色更有在場感。

我們還臨時提出了幾個更細(xì)的動作要求，比如推眼鏡、撩頭發(fā)，都較好地完成了。

在下面這個測試中，該角色展現(xiàn)出了極高的交互智能與情緒感知力。不僅對答如流、轉(zhuǎn)承自然，更能主動引導(dǎo)話題、有效避免冷場，對隨機提出的開放性問題亦能應(yīng)對自如。在指令執(zhí)行層面，角色對「比心」、「施法」等動態(tài)指令的完成度極高；在情感表達上，其「生氣」等微表情的管理也十分精準(zhǔn)到位。

除了預(yù)置角色，Vidu S1 也支持用戶上傳圖片創(chuàng)建自己的角色。創(chuàng)建過程中，用戶可以直接選擇系統(tǒng)提供的預(yù)置音色，也可以錄制自己的聲音，讓角色在視覺形象和聲音上都具備更強的個性化特征。

更讓我們意外的是創(chuàng)建速度。上傳圖片并完成基礎(chǔ)設(shè)置后，新角色幾乎可以立即進入對話狀態(tài)。

最后，我們上傳了一張《蒙娜麗莎》的圖片進行測試。

進入通話后，畫面中的蒙娜麗莎不再只是保持原本的經(jīng)典微笑，而是可以根據(jù)語音輸入開口說話，并在對話過程中生成口型、表情和輕微動作反饋，無論是抬手動作還是生氣時的表情和語氣，都非常自然。

自定義角色可以覆蓋真人、動漫、萌寵等常見形象。對于內(nèi)容創(chuàng)作者來說，這類能力打開了更大的想象空間：一張歷史人物畫像、一幅插畫、一個品牌 IP，甚至一張風(fēng)格化角色圖，都有機會被快速變成可對話、可表演、可持續(xù)互動的數(shù)字角色。

結(jié)語：視頻生成模型的下一站，是實時交互模型

過去，視頻大模型主要服務(wù)于內(nèi)容創(chuàng)作，用戶關(guān)心的是視頻清晰度、夠不夠好看。接下來，視頻大模型會進入實時交互場景，用戶開始關(guān)心模型能否實時聽懂需求？能不能馬上做出反應(yīng)？能否長時間保持同一個角色？是否可以接入直播、陪伴、游戲和 XR？

這些問題，單靠傳統(tǒng)離線視頻生成無法解決。

實時交互模型讓視頻從播放對象變成交流對象，數(shù)字人也因此從會說話的形象，走向可以被語音驅(qū)動、感知環(huán)境、持續(xù)生成行為的在線角色。

這正是 Vidu S1 想要定義的行業(yè)位置。

從率先提出 U-ViT 架構(gòu)，到率先發(fā)布實時交互模型，生數(shù)科技始終走在視頻大模型技術(shù)演進的前沿。其持續(xù)領(lǐng)先的技術(shù)布局，不僅展現(xiàn)了深厚的研發(fā)實力，也再次驗證了其對 AI 視頻發(fā)展方向的前瞻判斷。

未來，行業(yè)競爭將不再局限于視頻生成質(zhì)量，而是圍繞實時響應(yīng)、角色一致性與長期在線能力展開。隨著流式視頻模型和 AI Character 的持續(xù)發(fā)展，數(shù)字人也將從內(nèi)容生產(chǎn)工具，進化為下一代人機交互入口。

[1] TurboDiffusion: Accelerating Video Diffusion Models by 100-200 Times.

[2] SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration.

[3] SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention.

[4] SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference.

[5] TurboServe: Serving Streaming Video Generation Efficiently and Economically.

文中視頻鏈接：https://mp.weixin.qq.com/s/eIuLWSG6_9RknAIVjO3mQA