LangChain 发布了 LangSmith Engine,把智能体的改进闭环从手动变成自动化。
做过 Agent 开发的都知道,数据追踪(traces)大家都有,但真正痛苦的是从海量 trace 里找到问题、定位原因、修复、写测试防回归,这套流程全靠人肉,慢且有盲区。LangSmith Engine 就是接管这个过程。
它会自动扫描你的追踪记录,盯住显式报错、在线评估失败、用户负反馈、以及 Agent 没处理好的新场景。发现问题后在整个项目里做模式匹配,把同类问题聚合成一个 issue,按严重程度和频率排优先级。
更有意思的是后面的动作。因为关联了代码仓库,Engine 会直接起草一个 PR,可能是改 prompt,也可能是改代码,你审查合并就行。同时它还会为这个具体问题生成一个自定义在线评估器持续监控,问题复发会自动浮现。最后把相关的生产 trace 加入标注数据集,纳入离线评估套件防回归。
整个链路就是“发现问题 → 修复问题 → 防止回归”的完整自动化闭环。Cogent 和 Campfire 等团队已经在用,解决了影响数千条 trace 的问题。
Agent 开发到了现阶段,瓶颈已经从“能不能跑起来”转移到了“怎么持续提升质量”,谁能把改进循环压缩得更短,谁的 Agent 就能更快变好。LangSmith Engine 本质上是把 SRE 的思路搬到了 Agent 运维里,用自动化观测加闭环修复替代人工巡检。