RLinf v0.3來了！從模型生態到真機部署五大能力躍升，無問芯穹與清華大學聯合打造

當下的具身智能行業，正站在從“數據驅動”邁向“經驗驅動”的關鍵拐點上。機器人不再滿足于靜態模仿，而是需要在真實世界中持續學習、在線進化。但在現實中，強化學習流程復雜、系統組件異構、資源形態多樣以及真實世界在線學習難以規模化等關鍵問題，成為影響具身智能走進真實世界的行業痛點。

今天，由無問芯穹聯合清華大學等共同研發的全球首個面向具身智能持續進化的大規模強化學習基礎設施項目 RLinf，正式宣布升級為 RLinf v0.3，為破解具身智能行業發展瓶頸構建了新一代“進化底座”！

RLinf v0.1 和 v0.2 分別完成了強化學習系統抽象與真實世界在線學習基礎設施建設。新版RLinf v0.3進一步升級為面向具身智能持續進化的一站式開發平臺，首次完整打通數據采集、數據管理、監督微調（SFT）、強化學習（RL）、模型評測以及真機部署等關鍵環節，實現從仿真訓練到真實機器人在線學習、再到持續迭代優化的統一開發閉環。

由此，RLinf不僅能夠高效訓練機器人策略，更能夠支撐機器人在真實世界中的長期持續進化。

具體來說，RLinf v0.3圍繞模型、算法、真機、仿真、系統五個維度，進行了全面升級，系統性地降低具身智能開發門檻，提升訓練效率與部署靈活性，覆蓋更加豐富的具身智能開源生態。

針對強化學習中“參數難調、結果難復現”的行業痛點，RLinf 始終將訓練效果的嚴格可復現作為核心標準。在此次 v0.3 正式發布前，研發團隊已對大量應用示例完成了深度的復現性測試，詳見v0.3 Release Notes。

本次發版已與包括百度智能云在內的多家云廠商協同上線。

RLinf v0.3 Release Notes：https://rlinf--1379.org.readthedocs.build/zh-cn/1379/rst_source/resources/release_v0.3.html

快速上手：

https://docs.neogpu.com/posts/rlinf-ppo-vla.html

https://cloud.baidu.com/doc/AIHC/s/fmrenj9u1

Github鏈接：
https://github.com/RLinf/RLinf

RLinf Tech Report：https://arxiv.org/abs/2509.15965

01 模型生態：新增6款主流具身模型

RLinf v0.3繼續擴展模型生態，新增 6 款具身模型支持，涵蓋世界模型、VLA 模型及系統級加速：

• 新增Dexbotic DM0模型支持，在 LIBERO 上用 PPO 進行在線 RL 微調。
• 新增DreamZero模型支持：基于 WAN2.1/2.2 視頻生成世界模型微調的 VLA 策略，集成進 SFT 工作流，通過 FSDP2/CUDA Graph 等系統級加速取得近4倍吞吐提升。
• 新增GR00T-N1.6 / N1.7模型 RL 微調支持。
• 新增ABot-M0模型支持。
• 新增StarVLA模型支持（GRPO on LIBERO）。
• 新增LingBot-VLA模型支持（RoboTwin 環境 SFT/RL）。

02 算法體系：從模仿學習到真機學習全覆蓋

新版在真機 RL、仿真 RL 和人在環學習三個方向均有重要算法新增，表現出SOTA的真機任務成功率。具體：

真機強化學習算法：

• DSRL（Diffusion Steering via Reinforcement Learning）擴展至 Pi0.5 模型。
• 新增RECAP（基于離線優勢估計的策略優化）訓練流水線支持。
• 新增SAC-Flow算法支持，并擴展到 DOS-W1 等真機場景。

仿真強化學習算法：

• Async PPO：在 v0.2 基礎上擴展支持 MLP 等新策略，并新增 async DSRL 配置。
• 新增D4RL 離線 IQL訓練支持（Antmaze / Kitchen-Adroit / MuJoCo，基于 FSDPStrategy）。

人在環學習：

• 新增DAgger在線模仿學習算法支持（LIBERO、ManiSkill、RoboTwin、真機 PnP 多場景）。
• 新增HG-DAgger（Human-Gated DAgger）真機在線訓練支持。

03 真機支持：打通從數據采集到真機部署全鏈路閉環

新版全面打通數據采集 → SFT → RL → 真機部署的閉環鏈路，新增 3 種遙操作方式、3 款真機平臺、2 款末端執行器，真機實操能力顯著增強：

數據采集支持：

• 新增空間鼠標（Spacemouse）遙操作數據采集支持。
• 新增VR 遙操作數據采集支持。
• 新增GELLO 遙操作數據采集支持。

訓練鏈路支持：

• 新增LeRobot 格式數據采集支持，便于與 HuggingFace LeRobot 生態互通。
• 新增Pi0 真機 SFT 部署支持，打通數據采集 → SFT → 真機部署鏈路。
• 新增真機 reward model 數據采集支持（采集帶標注 reward 訓練數據）。

真機平臺與末端支持：

• 新增雙臂 Franka平臺支持（關節空間與 TCP/rot6d 控制、數據采集、SFT、部署）。
• 新增GimArm真機平臺支持。
• 新增DOS-W1真機平臺支持。
• 新增Franka DexHand 靈巧手末端執行器支持。
• 新增Franka Robotiq夾爪后端支持。
• 新增Franka Robotiq 及 ZED / LUMOS V4L2相機與夾爪后端支持。

04 仿真環境：場景覆蓋更豐富

RLinf v0.3提升仿真強化學習的場景覆蓋，新增 5 種仿真器，完善基于仿真器的訓練示例與效果：

• 新增Genesis仿真器支持。
• 新增Polaris仿真器支持。
• 新增RoboVerse仿真器支持。
• 完善Behavior環境支持：新增 v3.7.1 / v3.7.2 版本補丁、π0.5 PPO 配置與 object/pose randomization。
• 新增Libero+ / LiberoPro變體環境支持。
• 新增Embodichain（CartPole）環境支持。
• 新增IsaacLab 上 π0.5 PPO finetuning支持。
• 新增RoboCasaclose-drawer 等 RL 示例支持。

05 系統基座：面向大規模訓練持續強化底層能力

RLinf v0.3在系統層面新增多項重磅組件：

• Reward Model組件：支持embodied reward worker + ResNet/VLM reward model。
• Value Model組件：通用基礎設施，支撐Pi0.6 RECAP等流水線。
• SGLang推理服務化組件：HTTP server + router模式，可作為reward服務/rollout推理后端。
• 解耦環境執行組件：解除Env Worker與Rollout Worker一對一綁定，提升GPU利用率。

性能優化方面，新增torch.compile加速、rollout與訓練overlap、權重同步升級（broadcast/增量同步/分桶同步/僅同步可訓練參數）、FSDP全offload支持，并修復了顯存泄漏等關鍵問題。

值得關注的是，RLinf v0.3全面支持昇騰Ascend（CANN/torch-npu）、AMD ROCm、Musa等國產及異構AI計算平臺，真正做到跨機器人、跨模型、跨仿真器、跨計算硬件的統一訓練能力。

06 One More Thing：RLinf for Agentic AI

RLinf v0.3為智能體 RL 場景提供了更強大的訓練和評測基礎：

• 新增AgentLightning 多輪單智能體 RL 訓練與 Calc-X 評測支持。
• 新增Megatron-Bridge actor 后端支持（基于 Megatron-mbridge 模型的 RL 訓練與 SFT）。
• SearchR1重構為多輪接口，并新增 WideSeek judge 的內置 sglang 支持。

RLinf 自開源以來，以開放共享為核心理念，迅速形成全球影響力。截至目前在 GitHub 已獲得4100+ Stars 、 600+ Forks、100+ Contributors，成為具身智能與大模型強化學習領域最受關注的基礎設施項目之一。

RLinf 已被 Isaac Lab 官方收錄為其首個面向具身大模型的訓練引擎，體現了其在具身智能基礎設施方向的國際技術引領能力。值得一提的是，RLinf團隊與 NVIDIA 團隊合作的醫療器械組裝任務成功登上 NVIDIA GTC 2026，進一步驗證了其全球技術影響力。

此外，項目榮獲 EAI-100年度十大突破獎，入選Pytorch Ecosystem、螞蟻開源榜，代表其在具身智能基礎設施領域的技術領先性與行業認可度。

未來，RLinf將堅持開源路線，提升易用性，并攜手社區同行持續貢獻前沿算法。為了更好地與社區互動，RLinf團隊也已經創建開發Roadmap（
https://github.com/RLinf/RLinf/issues/1322），建立答疑群（https://raw.githubusercontent.com/RLinf/misc/refs/heads/main/pic/wechat.jpg），歡迎研究者們加入社區，共同開發！

轉載來源：無問芯穹

本文為量子位獲授權轉載，觀點僅為原作者所有。