蚂蚁灵波近日宣布开源全球首个面向具身智能的Mixture-of-Experts(MoE)架构视频生成模型LingBot-Video,为机器人领域提供全新开源技术底座。该模型通过重构视频预训练范式,在物理合理性、动作连贯性及任务完成度等核心指标上实现突破,标志着视频生成技术从数字内容创作向物理世界交互迈出关键一步。
在机器人操作视频评测基准RBench上,LingBot-Video以0.620的综合得分超越Wan2.6(0.607)、Seedance 1.5 Pro(0.584)等主流模型。该基准重点考察模型生成动作的物理合规性,实验数据显示,LingBot-Video在机械臂抓取、工具使用等复杂场景中,动作中断率降低37%,任务完成率提升29%,展现出更强的环境适应能力。
技术团队通过三维创新构建模型优势:架构层面采用DiT+MoE混合设计,300亿参数模型推理时仅激活30亿参数,在保持视觉表现力的同时将推理效率提升至传统密集架构的3倍;数据层面构建7万小时具身视频库,涵盖灵巧操作、移动导航及第一视角交互等场景,特别引入视觉-语言-动作(VLA)多模态数据帮助模型理解动作因果关系;训练阶段引入物理奖励机制,通过强化学习优化碰撞检测、重力模拟等20余项物理指标,使生成视频更符合真实世界运行规律。
与传统视频生成模型不同,LingBot-Video专门针对具身智能需求优化。实验表明,在模拟厨房场景中,模型能准确预测液体流动轨迹并调整机械臂运动路径;在仓储搬运任务中,可实时生成避障动作序列。这些特性使其在机器人动作预测、仿真数据生成、世界模型构建等方向具有应用潜力,目前已有12家科研机构基于该模型开展机器人学习研究。
开源版本包含完整的训练代码、预训练权重及数据处理工具链,支持研究者快速复现实验结果。技术文档显示,模型在单张A100显卡上可实现8帧/秒的生成速度,通过量化压缩技术可将部署内存占用降低至15GB。蚂蚁灵波表示将持续更新模型版本,未来计划纳入触觉反馈、多机器人协作等更复杂的物理交互数据。















