GPT-5.6 发布当天 OpenAI 自曝 SWE-Bench Pro 30% 有问题

GPT-5.6 发布当天 OpenAI 自曝 SWE-Bench Pro 30% 有问题

2026 年 7 月 9 日，OpenAI 发布了旗舰模型 GPT-5.6 家族（Luna、Terra、Sol 三档）。同一天，他们发了另一篇文章，标题大意是"SWE-Bench Pro 审计报告"，结论是这个基准测试里大约 30% 的任务有缺陷。表面看是两条不相干的新闻，放在一起读就不一样了：GPT-5.6 在 SWE-Bench Pro 上得分 64.6%，而 Anthropic 的 Claude Fable 5 拿了 80%。OpenAI 选择在发布当天质疑这个让自己难看的基准测试，时间点耐人寻味。

再把视野放大一点。同一天 arXiv 的 cs.AI 频道上线了至少 3 篇论文，从不同角度质疑 AI 基准测试的可靠性。一周后，METR 和斯坦福等机构联合发布了 88 页的递归自我改进（RSI）经济学论文，引入"窄能力"和"宽能力"的区分，指出模型在基准测试上的进步不等于在真实经济任务上的进步。基准测试是不是在测量我们以为它在测量的东西，正在变成一个结构性问题。

OpenAI 为什么要拆自己的台

GPT-5.6 家族三档定价：Luna 每百万 token 输入 1 美元、输出 6 美元。Terra 输入 2.5 美元、输出 15 美元。Sol 输入 5 美元、输出 30 美元。所有模型共享 2026 年 2 月 16 日的知识截止日期、100 万 token 上下文窗口和 12.8 万 token 最大输出。OpenAI 主推的卖点是 Agent 性能，在 Agents' Last Exam（覆盖 55 个领域的长时间专业工作流评测）上，GPT-5.6 Sol 拿到 53.6 分，比 Claude Fable 5 高 13.1 分。中等推理模式下也领先 11.4 分，成本约为 Fable 5 的四分之一。Terra 和 Luna 更是在约十六分之一成本下超过 Fable 5。

但 SWE-Bench Pro 讲了另一个故事。这个软件工程基准测试上，Fable 5 拿了 80%，GPT-5.6 Sol 只有 64.6%。Simon Willison 在评测中写道，GPT-5.6 Sol 确实很能干，但在他用 Claude Fable 做的复杂编程任务上，还没有感觉比 Fable 更好。OpenAI 的应对方式也很直接：发布前一天发文质疑 SWE-Bench Pro 本身。他们的审计发现约 30% 的任务存在各种问题，建议模型开发者仔细检查自己的结果。

质疑让你输的比赛，比赢下比赛本身更有杀伤力。 如果基准测试本身有 30% 是坏的，那 Fable 5 的 80% 和 GPT-5.6 的 64.6% 之间的差距就失去了比较基础。这不是输不起，是在摧毁裁判的公信力。

验证器即课程：基准测试如何反向塑造模型

arXiv 同日上线的"The Verifier is the Curriculum"论文把这个逻辑推得更远。研究者在 GameCraft-Bench（用自然语言生成完整 Godot 游戏项目）上做了实验。用一个 14B 参数的 Qwen3-14B+LoRA 模型，在"严格启动"验证器（生成的项目能否在无头引擎中干净运行）下做拒绝采样自蒸馏。三轮之后，模型在 4 个未见过的游戏类型上的干净生成率从 8.8% 提升到 42.2%，best-of-K 覆盖率从 18/25 达到 25/25（理论天花板）。

关键对照实验在这里：研究者把验证器从"严格启动"换成宽松的 BUILD 检查（99.9% 的生成都能通过），其他条件不变，增益完全消失，模型退回基线水平。再用一个金标准复制对照组（直接拿正确答案当训练数据），模型反而从 8.8% 退步到 5.6%。

验证器认证什么，模型就学什么。 验证器宽松，模型学到的就是通过宽松检查的技巧，不是真正可运行的游戏。这个结论对整个 RLHF 和 RLAIF 流水线都成立：如果奖励模型（验证器）本身有问题，模型优化出来的就是奖励模型的漏洞，不是真实能力。

回到 SWE-Bench Pro 的语境。如果 30% 的测试任务本身有缺陷，用这个基准做训练信号或模型选择的团队，优化的是"在有缺陷的任务上拿分"的能力，不是软件工程能力。验证器的质量上限就是模型的能力上限。

窄能力和宽能力：基准分数不等于真实生产力

METR（Model Evaluation & Threat Research）联合斯坦福、MIT、CMU 等机构发布的 88 页 RSI 经济学论文，把这个问题放在了更大的框架里。论文的核心区分之一是"窄能力"（narrow capabilities）和"宽能力"（broad capabilities）。窄能力指模型在 AI 研发基准测试上的表现，宽能力指模型在经济上有价值的广泛任务上的表现。

论文指出，AI 系统完全可能在窄能力上快速进步，同时在宽能力上停滞甚至退步。一个模型可以越来越擅长刷 AI 研发相关的 benchmark，但对真实经济产出的贡献未必同步增长。这不是假设。RSI 论文引用了 Epoch Capabilities Index 做校准，估算出自维持加速（self-sustaining acceleration）需要的条件：模型能力每提升 1 个单位，AI 研发生产力至少要提升 15%。基于已报道的 AI 工程师效率提升数据，当前的实际回报约为 9%。

9% 低于 15% 的阈值，意味着我们目前没有处于自维持加速状态。但论文也强调这个数字在增长，不能排除近期达到阈值的可能。窄能力 vs 宽能力的区分在这里变得很实际：如果基准测试测的是窄能力，而窄能力和宽能力正在脱钩，那所有基于基准测试的"AI 正在加速"叙事都需要打折。

SWE-Bench Pro 事件恰好是这个理论框架的一个具体案例。OpenAI 说 30% 的任务有问题，等于承认这个基准测出的分数中有一部分反映的不是软件工程能力，而是对有缺陷任务的适配能力。窄能力被污染了。

基准测试压缩：能不能用更少的题测出同样的排名

arXiv 同日的另一篇论文"Coresets Before Score Sets"从工程角度切入同一个问题。研究者研究的是 LLM 基准测试的子集选择：能否从 35 个异构基准测试、6.1 万条 prompt 中选出一个小子集，使得模型分数和排名与全量测试高度一致。

答案是肯定的。使用基于语义嵌入的 facility location 函数做子模选择，不需要任何模型评测结果（evaluation-unsupervised），就能在多种预算下比 12 种基线方法更好地保持 LLM 分数。在 MMLU 和 MTEB 排行榜上，同样的目标也能匹配或超越已有方法。

这篇论文的隐含信息比结论本身更有意思。如果 6.1 万条 prompt 可以压缩到一个很小的子集而不改变排名，说明大量基准测试题目之间存在高度冗余。换句话说，你以为测了 100 种能力，实际可能只测了 20 种，剩下的 80 种是换个包装的重复。这和 OpenAI 发现 SWE-Bench Pro 30% 任务有缺陷形成了呼应：基准测试的问题不只是"有些题出错了"，还有"大量题目根本没在测它们声称测的东西"。

基准测试危机不是技术细节

把四条线索拉到一起，会看到一个超越单篇论文的图景。OpenAI 在自己模型发布当天拆台基准测试，不是谦虚，是策略。当你在某个基准上输了，质疑基准的合法性比追赶分数更高效。但如果基准测试真的有 30% 是坏的，那所有基于这些基准做的模型选择、投资决策、安全评估都需要重新审视。

"基准测试不可靠"已经变成一种工具。 谁先证明基准有问题，谁就掌握了定义"什么算能力"的话语权。OpenAI 审计 SWE-Bench Pro 的同时，在 Agents' Last Exam 上大力宣传 GPT-5.6 的优势。质疑对自己不利的基准，推广对自己有利的基准，这是同一套策略的两面。

RSI 论文给出的窄能力 vs 宽能力框架，在这里提供了一个判断标准。如果未来的 AI 评测体系只优化窄能力（基准分数），而宽能力（真实经济产出）跟不上，那所有"AI 正在加速"的叙事就只是测量幻觉。论文估算的 9% 回报率低于 15% 阈值，不是说 AI 没在进步，是说进步的速度还不够自维持。基准测试的可靠性直接决定了我们对这个速度的估计是否准确。

有一个短期内不会有标准答案的问题：当基准测试的制定者（AI 公司本身）和基准测试的被测者（AI 公司的模型）是同一批人，谁来审计审计者。OpenAI 审计 SWE-Bench Pro 有利益冲突，METR 做的 RSI 校准也有自己的机构立场。独立第三方评测机构（如 MLCommons）目前缺乏足够资源和数据访问权限。在没有独立验证机制的情况下，基准测试的公信力只能靠"多方互相质疑"来维持，这是一个脆弱的均衡。

引用来源

1. The new GPT-5.6 family: Luna, Terra, Sol（blog post, 2026-07-09）— https://simonwillison.net/2026/Jul/9/gpt-5-6/
2. The Verifier is the Curriculum: Execution-Gated Self-Distillation for Cross-Family Game Generation（arXiv paper, 2026-06-23）— https://arxiv.org/abs/2607.09709
3. The Economics of Recursive Self-Improvement（research paper, 2026-07-13）— https://elasticity.institute/rsi-paper.pdf
4. Coresets Before Score Sets: Evaluation-Unsupervised Prompt Subset Selection for LLM Benchmarks（arXiv paper, 2026-07-14）— https://arxiv.org/abs/2607.09739
5. Scaffolding the Strategist: Architecture-Dependent Reasoning Interventions in Hotelling Spatial Markets（arXiv paper, ICLR 2026 Workshop, 2026-07-03）— https://arxiv.org/abs/2607.09743
6. Apple's new SpeechAnalyzer API, benchmarked against Whisper（Hacker News 讨论, 2026-07-14, 514 分）— https://news.ycombinator.com/item?id=48894752
7. The Economics of Recursive Self-Improvement（Hacker News 讨论, 2026-07-14, 66 分）— https://news.ycombinator.com/item?id=48896665