强化学习为何是智能体（AI Agent）的未来? 著名科技播客 Training Data 对 OpenAI Deep Research 开发团队的 Isa Fulford 和 Josh Tobin 进行了深度采访。
Josh 认为：随着行业发展，模型往往能提出比人类更好的解决方案。他表示："机器学习的第一要义是，你优化什么就会得到什么"。因此，通过端到端优化，以及强化学习调优对构建强大智能体起到了关键作用！
Deep Research 是 OpenAI 推出的第二个智能体产品（第一个是 Operator），它能够搜索在线网站并创建全面的报告，完成人类需要花费数小时甚至数天才能完成的任务。它通常需要 5 到 30 分钟来回答用户的问题，远比普通 ChatGPT 提供的答案更详细，更精准。
Isa 和 Josh 解释了 Deep Research 的起源。大约一年前团队看到了推理模型，以及训练模型在 "思考后回应" 方面的成功。这种新的推理范式不仅适用于数学和科学领域，还能支持更长期的智能体任务。基于这一发现，他们开始了 Deep Research 的研发。Deep Research 特别适合需要大量在线研究和外部参考信息的工作。通过大量推理，它拥有区分不同来源信息质量的能力。
关于技术细节，Isa 和 Josh 表示，Deep Research 是使用 o3（OpenAI最先进的推理模型）的微调版本构建的，专门针对困难的需要浏览外部信息的任务进行了训练。它通过端到端训练学习解决任务的策略，能够访问浏览器和 Python 工具。Josh 强调了端到端训练的重要性，与传统通过人工构建操作图的方法相比，这使模型能更灵活地应对实时信息。
使用案例方面，Deep Research 广泛应用于工作和个人生活。工作用途包括市场研究、公司分析、房地产、科学研究和医学。个人用途包括购物建议、旅行计划和教育学习。令人惊讶的是，许多用户还将其用于编程和代码搜索，这是开发团队最初没有预料到的情况。
关于未来发展，团队希望能够扩展模型可访问的数据源，包括私人数据搜索，并进一步提升其浏览和分析能力。Josh 提出了一个重要观点，认为这种通过端到端优化直接针对用户需求的方法完全能够扩展到更多复杂任务，可能成为构建超级智能体的关键方法。
最后，他们预测 2025 年将是"智能体之年"，强化学习正在卷土重来。他们认为，随着预训练语言模型变得越来越强大，现在是通过强化学习对这些模型进行调优的绝佳时机！
