螞蟻Robbyant開源LingBot-World 2.0：支持一小時(shí)高清實(shí)時(shí)交互

螞蟻集團(tuán)具身智能部門Robbyant正式開源LingBot-World 2.0世界模型。該模型專為長(zhǎng)時(shí)間實(shí)時(shí)視頻生成和交互式模擬環(huán)境設(shè)計(jì)，在早期版本基礎(chǔ)上實(shí)現(xiàn)了重大突破。

與此前僅能實(shí)現(xiàn)分鐘級(jí)穩(wěn)定生成的1.0版本不同，LingBot-World 2.0支持在720p分辨率、每秒60幀的速度下，進(jìn)行長(zhǎng)達(dá)一小時(shí)的連續(xù)生成。用戶可通過鍵盤輸入與場(chǎng)景實(shí)時(shí)交互，包括控制角色移動(dòng)和切換視角。

原生智能體與長(zhǎng)時(shí)穩(wěn)定性

此次更新引入了原生智能體機(jī)制，使生成環(huán)境能隨互動(dòng)持續(xù)響應(yīng)。系統(tǒng)包含負(fù)責(zé)規(guī)劃執(zhí)行角色行為的“飛行員智能體”（Pilot Agent），以及在場(chǎng)景發(fā)展中引入新事件的“導(dǎo)演智能體”（Director Agent）。

針對(duì)長(zhǎng)視頻生成中常見的圖像質(zhì)量下降和場(chǎng)景結(jié)構(gòu)崩潰難題，LingBot-World 2.0采用了因果預(yù)訓(xùn)練方法和“雙向注意力掩碼”（MoBA）機(jī)制。模型按時(shí)間順序?qū)W習(xí)世界演變，有效減少累積誤差。Robbyant表示，在一小時(shí)壓力測(cè)試中，視覺輸出未出現(xiàn)質(zhì)量漂移。

為支持低延遲交互，Robbyant推出了快速推理版本并重構(gòu)生成管道，實(shí)現(xiàn)內(nèi)容同時(shí)生成、傳輸和顯示，而非等待序列完成。這種接近實(shí)時(shí)模擬的體驗(yàn)，允許用戶在場(chǎng)景演化過程中實(shí)時(shí)操作。

豐富交互與多用戶協(xié)作

除了基礎(chǔ)移動(dòng)導(dǎo)航，該模型還支持攻擊、射箭、施法、跳躍和滑翔等復(fù)雜動(dòng)作。同時(shí)支持通過文本觸發(fā)晝夜循環(huán)、天氣變化及插入新實(shí)體等環(huán)境變化，這些事件均根據(jù)互動(dòng)時(shí)的場(chǎng)景狀態(tài)動(dòng)態(tài)生成。

LingBot-World 2.0還在同一持久化世界中支持多用戶協(xié)作，允許在單一環(huán)境中進(jìn)行共同探索和交互。Robbyant稱這是邁向多人AI生成體驗(yàn)的重要一步，將被動(dòng)觀看環(huán)境轉(zhuǎn)變?yōu)槟艹掷m(xù)響應(yīng)用戶的動(dòng)態(tài)系統(tǒng)。

同步開源LingBot-Video

LingBot-World 2.0已在開源許可下發(fā)布，首日即支持SGLang，用戶可通過Reactor平臺(tái)在線試用。

與此同時(shí)，Robbyant還開源了基于混合專家（MoE）架構(gòu)的視頻生成基礎(chǔ)模型LingBot-Video。該模型專為具身智能應(yīng)用設(shè)計(jì)，針對(duì)機(jī)器人用例優(yōu)化了推理效率、物理合理性、動(dòng)作理解能力和任務(wù)完成度。此舉標(biāo)志著螞蟻集團(tuán)的開源布局從模擬世界生成擴(kuò)展至與具身智能研究更直接相關(guān)的視頻模型領(lǐng)域。

當(dāng)前，AI行業(yè)正競(jìng)相提升生成視頻和模擬環(huán)境的連貫性、可控性及持續(xù)時(shí)間。對(duì)于智能體和機(jī)器人技術(shù)開發(fā)者而言，更長(zhǎng)且穩(wěn)定的交互式世界模型已成為訓(xùn)練、測(cè)試和行為實(shí)驗(yàn)的關(guān)鍵工具。

【星途科訊 圖文丨王宇洲 首發(fā)于ZAKER科技，轉(zhuǎn)載請(qǐng)注明出處】