阿里通义实验室 Wan-Streamer v0.2 模型发布:低延迟高画质,开启 AI 实时交互新体验

   发布时间:2026-07-17 18:00 作者:胡颖

阿里通义实验室近日宣布推出Wan-Streamer v0.2模型,这一创新成果标志着AI实时交互能力迈入全新阶段。该模型通过将听觉、视觉与语言处理整合至单一Transformer架构,实现了"边听边看边回应"的类人交互模式,端到端响应延迟控制在550毫秒以内,其中模型处理仅需200毫秒。

在视觉呈现方面,新版本实现了质的飞跃。输出分辨率从初代的192×336提升至640×368,帧率稳定在25FPS,使得AI角色的微表情、肢体动作乃至环境细节都清晰可辨。实验室特别强调,这种提升并非简单的像素堆砌,而是通过分布式计算架构实现的系统性突破——将模型拆分为"思考者"与"执行者"两条并行通路,前者在单GPU上处理实时感知与响应,后者通过多GPU集群完成高分辨率视频生成。

技术团队创新性地引入流式单元机制,每160毫秒构成一个完整处理闭环:同步捕捉用户音视频输入、更新交互上下文、生成语音视频潜变量,并解码输出响应。这种设计使AI无需等待用户完整表述即可逐步理解并回应,真正实现全双工交互。测试数据显示,其端到端延迟显著优于市场主流语音对话模型,尤其在需要视觉反馈的复杂场景中表现突出。

应用场景的拓展成为另一大亮点。用户现在可以与历史人物展开跨时空对话,让艺术作品中的角色"活"过来,甚至与宠物进行拟人化交流。在教育领域,AI教师能通过观察学生表情调整讲解方式;在无障碍领域,系统可为听障用户生成精准唇语视频,为视障用户描述实时环境。游戏行业更将因此受益,NPC将具备真实的表情管理和肢体语言,与玩家进行自然对话。

分布式推理架构的设计颇具巧思。"思考者"模块如同人类大脑,在200毫秒内完成关键决策;"执行者"模块则像专业渲染团队,通过Ulysses序列并行机制将视频生成任务分配至多张显卡。时序重叠技术确保两个模块协同工作,当执行者处理当前帧时,思考者已开始解析下一帧输入,这种设计使高分辨率输出未增加可感知延迟。

该模型突破了传统AI交互的模块化限制,在单一神经网络中同步完成多模态理解与生成。实验室负责人表示,这项研究将持续优化,未来可能进一步缩短延迟并扩展应用场景,为构建更自然的AI交互系统奠定技术基础。

 
 
更多>同类内容
全站最新
热门内容
本栏最新