在强化学习（RL）驱动大语言模型处理复杂任务的过程中，一个关键挑战始终困扰着研究者：如何确保训练数据真实反映模型的实际操作环境？针对这一问题，一支研究团队近日推出名为Turnstile的开源工具，通过在模型与执行框架之间建立实时数据捕获层，为强化学习训练提供了精确的Token级轨迹记录能力。
传统智能体执行框架在记录任务执行过程时，往往面临"所见非所用"的困境。当模型处理文本时，实际接收的是经过分词器转换的整数序列（Token ID），而非原始字符串。执行框架记录的对话文本可能因格式差异、空格变化或模板调整，导致相同的语义内容对应不同的Token序列。这种偏差在强化学习场景中尤为致命——训练器若基于错误的Token历史优化模型，会导致策略梯度计算失真，最终影响模型性能提升。
Turnstile的核心创新在于其"生成即捕获"的设计理念。这个用Rust编写的轻量级代理程序，通过拦截模型与执行框架之间的HTTP请求，在Token生成的瞬间记录完整状态信息。具体而言，系统会捕获三个关键数据：模型采样的精确Token ID序列、每个Token的对数概率（反映模型置信度），以及损失掩码（区分用户输入与模型生成内容）。这些数据共同构成强化学习训练所需的完整上下文。
技术实现上，Turnstile严格遵循OpenAI Chat Completions API标准，使其能够无缝接入现有执行框架。研究人员介绍，部署时只需将执行框架的API端点指向Turnstile服务，无需修改框架内部逻辑。在最近完成的验证实验中，该工具成功支持了纯文本代码生成智能体和多模态电脑操作智能体的强化学习训练，两种场景下均实现稳定性能提升，且无需对执行框架进行任何适配改造。
针对混合专家（MoE）架构模型的特殊需求，Turnstile开发了路由追踪功能。这类模型在处理每个Token时，会动态选择不同的专家子网络，路由决策受前序Token处理方式影响。Turnstile通过记录每层的专家激活路径，并在轨迹扩展时验证路由一致性，有效避免了因专家选择偏差导致的训练污染。实验数据显示，该功能使MoE模型的训练稳定性提升约40%。
在多模态场景处理方面，Turnstile展现出独特的优势。当模型接收图像输入时，系统不仅记录原始图像的哈希值用于审计，还会完整捕获图像处理流水线的输出——包括调整大小、裁剪等操作生成的像素张量，以及文本中插入的视觉占位符。这种设计确保训练器能够准确复现模型处理视觉信息时的完整上下文，解决了传统方法中视觉前缀不一致的问题。
目前，Turnstile已开源其Rust核心代码，并提供SGLang后端支持、Python训练脚本绑定，以及多轮对话捕获、MoE路由追踪等高级功能。研究团队透露，后续版本将增加对vLLM后端的支持，并开发更多训练框架适配器，以扩大工具的适用范围。该项目负责人强调："我们的目标不是让执行框架变成数据流水线，而是让训练器能够直接获取模型真实经历的Token历史。"这一理念正获得越来越多研究机构的认可，已有多个实验室将其应用于代码生成、机器人控制等领域的强化学习训练。
