LangSmith Engine v2 发布：Agent 红队测试与修复验证进入新阶段

LangChain 于 2026 年 9 月 24 日 发布 LangSmith Engine v2，新增主动红队测试、低效执行路径识别，以及在提交给用户审阅前验证修复的能力。它关注的是 Agent 上线后持续暴露的问题，例如工具重复调用、任务偏离、延迟上升和成本异常。

公告中的不同能力有不同开放范围：Engine v2 的 SaaS 版本与需要申请的 Private Beta 功能，不能统一写成所有用户立即可用。

从错误日志走向完整任务轨迹

Engine 会分析生产 traces，把相关失败归为同一类问题，并提供根因、建议修复和可进入评估集的样本。v2 扩展到更难发现的情况，例如回答最终看似正确，却走了很多重复或错误的工具步骤。

对开发者，这类问题会同时影响等待时间与 Token 成本。只统计 HTTP 200 或最终回答成功，可能看不到任务过程的浪费；保留工具调用顺序、耗时和结果关联，才能解释为什么某类任务越来越贵。

红队测试目前有什么门槛

官方描述的 Red Teaming 会结合生产轨迹与仓库上下文，主动构造测试，发现尚未在生产暴露的系统提示违规、幻觉等问题。发布时该能力是面向已有 LangSmith Deployment 用户的 Private Beta，需要申请。

它不是任意 Agent 接上日志后即可自动获得的保证。测试是否覆盖真实风险，仍取决于任务定义、输入样本、工具权限与评判标准。发现一个问题并验证可复现，比把一次红队运行理解为“安全认证”更准确。

建议修复如何先验证

对于使用 LangSmith Deployment 的 Agent，官方新增的流程会先重放导致问题的输入，再提出改动、运行测试、评估结果并继续调整，最后把修复交给用户审阅。这项预验证能力在公告时同样处于 Private Beta。

“原失败样本通过”仍只是修复证据的一部分。团队还应保留未参与修复的回归集，检查其他任务是否退化，再决定是否部署。自动生成 PR 与自动批准生产发布不应混成一个步骤。

部署方式与费用需要另查

公告说明 Engine v2 面向 LangSmith Plus 和 Enterprise 的 SaaS 部署提供；自托管支持与自托管 Engine 的 BYOK 在当时仍属于后续安排。不能据此宣称所有数据已经可以留在自有环境、所有版本都已支持自带 Key。

本文未购买或实测 Engine v2。若要采用，先确认当前计划、功能开放状态、数据进入范围和测试消耗，再用一类已知问题验证整条流程。