ECCV 2026 | 實時導演多鏡頭長視頻! 港中文&快手可靈發布ShotStream

本文第一作者羅亞文，香港中文大學 MMLab 博士一年級在讀，研究方向為視頻生成，導師為薛天帆教授。

個人主頁：https://luo0207.github.io/yawenluo/

作為 AI 視頻創作者，你是否曾夢想擁有屬于自己的監視器，真正體驗一把實時導演的爽感？

現在，生成幾秒的單鏡頭已經不是難事。但是，一旦涉及到生成多鏡頭長視頻，往往就像是在開盲盒：用戶寫好幾百字的劇本，把所有分鏡的提示詞一次性喂給大模型，然后苦等半小時。哪怕中間只崩了一個鏡頭，也只能硬著頭皮全部推倒重來，缺乏交互性延遲極高

為了打破多鏡頭長視頻面臨的高延遲、零交互困境，香港中文大學與快手可靈團隊聯合提出了首個實時流式多鏡頭長視頻生成框架 ——ShotStream。該研究打破了傳統雙向架構的限制，將多鏡頭合成定義為基于歷史上下文的下一鏡頭生成任務，用戶可以通過動態流式提示詞在運行時動態指導敘事走向！更令人振奮的是，ShotStream 模型在單張 H200 GPU 上實現了 16 FPS 的推理速度，相較于雙向模型，將生成效率提升了 25 倍以上，為實時的互動故事創作鋪平了道路。該工作已被計算機視覺頂級會議 ECCV 2026 接收，其訓練、測試代碼和模型均已開源。

• 論文標題：ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling
• 項目主頁：https://luo0207.github.io/ShotStream/
• 論文：https://arxiv.org/pdf/2603.25746
• 代碼：https://github.com/KlingAIResearch/ShotStream

視頻鏈接：https://mp.weixin.qq.com/s/ntOrOJqZ8N1kK-5po9zYXg

ShotStream 能力展示

視頻鏈接：https://mp.weixin.qq.com/s/ntOrOJqZ8N1kK-5po9zYXg

視頻鏈接：https://mp.weixin.qq.com/s/ntOrOJqZ8N1kK-5po9zYXg

視頻鏈接：https://mp.weixin.qq.com/s/ntOrOJqZ8N1kK-5po9zYXg

視頻鏈接：https://mp.weixin.qq.com/s/ntOrOJqZ8N1kK-5po9zYXg

更多例子請參閱原論文與項目主頁。

ShotStream 創新點

要在低延遲下實現流式生成，并且保證長視頻的多鏡頭之間的連貫性，ShotStream 的主要創新點是:

• 提出了首個實時流式多鏡頭長視頻生成架構：用戶可以在生成過程中通過流式提示詞動態調整正在發展的故事情節，突破了傳統雙向架構的限制，實現了真正的交互式敘事。
• 設計了一個高效的雙緩存記憶框架：為了保證多鏡頭間的一致性，該工作提出了雙緩存記憶機制。其中，全局緩存 (Global Cache) 保證跨鏡頭間一致性，局部緩存 (Local Cache) 維持單鏡頭流暢。然而，直接使用雙緩存會導致自回歸生成中的時序錯亂歧義，模型在流式生成的時候會混淆信息，為了解決這個問題，該工作提出了 RoPE 旋轉位置編碼殘差對雙緩存進行區分，在無需引入額外復雜模塊的情況下，消除了歧義，保證了蒸餾過程的穩定性。
• 提出了一種兩階段自強制（Self-Forcing）蒸餾策略： 為了解決模型在流式生成長視頻中的誤差累計問題，該工作提出了兩階段自強制（Self-Forcing）蒸餾策略，實現了訓推一致，讓模型學會在不完美中自我糾偏，有效克服了多鏡頭長視頻生成的誤差累積。

ShotStream 算法解讀

階段一：雙向下一個鏡頭預測模型訓練

如上圖所示，首先將雙向文生視頻模型微調為一個雙向的 “下一鏡頭” 教師模型，使其具有根據歷史幀生成下一個鏡頭的能力。此外，為了避免數百幀的歷史鏡頭導致顯存爆炸，作者設計了動態采樣策略，提取出稀疏的歷史上下文幀。隨后，通過 Token 拼接機制，將上下文特征與目標噪聲送入 DiT 模型。

階段二：因果模型蒸餾

緊接著，利用分布匹配蒸餾（DMD）技術，緩慢的雙向教師模型被蒸餾為一個僅需 4 步去噪的流式因果學生模型，從而實現了 25 倍以上的推理加速和 16FPS 的實時生成。

雙緩存機制與不連續 RoPE

在多鏡頭自回歸生成中，模型很容易混淆歷史畫面和當前正在生成的畫面。為此，作者巧妙設計了雙緩存記憶機制：全局緩存負責存儲稀疏條件幀以維持跨鏡頭一致性，局部緩存負責存儲當前鏡頭剛生成的幀以維持單鏡頭內的一致。

考慮到同時查詢兩個緩存會帶來時間維度上的歧義，作者對模型原有的旋轉位置編碼進行了改進，提出了不連續 RoPE。即在每次鏡頭切換的邊界處，對時間維度的 RoPE 施加一個離散的相位偏移。這顯式地解耦了全局與局部上下文，讓模型能夠無需引入任何額外的復雜網絡模塊，精準區別不同緩存，確保了蒸餾過程的穩定性。

兩階段自強制蒸餾（Self-Forcing)

自回歸生成長視頻最大的痛點在于誤差累積。為了緩解該問題，作者設計了兩階段自強制蒸餾訓練：第一階段，在單鏡頭內利用真實的 Ground-Truth 歷史畫面進行訓練，讓模型具有基礎的下一個鏡頭生成能力；第二階段，跨鏡頭利用模型自己生成的歷史畫面作為條件進行訓練。兩階段訓練策略解決了訓練與推理之間的差異，逼迫模型學會在自己的不完美中進行糾偏，大幅提升了多鏡頭長視頻的畫質穩定性和連貫性。

實驗結果

ShotStream 在跨鏡頭一致性、鏡頭切換控制、文本對齊度等各項多鏡頭長視頻核心指標上，均顯著優于或比肩 Mask2DiT、CineTrans 等現有雙向模型，以及 LongLive 等自回歸模型。同時，實現了 16FPS 的實時生成。

總結

ShotStream 作為首個多鏡頭長視頻生成模型，其創新的雙緩存記憶機制及兩階段蒸餾方法，以及單卡 16FPS 的卓越性能表現，驗證了實時流式多鏡頭長視頻生成模型的巨大潛力。同時，其模型與訓練、測試代碼的開源也將為社區的相關研究提供強有力的支持，有望推動 AIGC 視頻創作進入一個交互更實時、敘事更自由的新階段！