OpenAI作为行业的领军者，其下一代模型GPT-5备受全球瞩目。然而，就在各界翘首以盼之际，围绕GPT-5在编程能力评测上的“猫腻”传闻却甚嚣尘上，将一个本应激动人心的技术飞跃，推向了信任危机的边缘。 传闻的核心直指GPT-5在编程基准测试中取得的“惊人”成绩，其表现优秀到令人咋舌的程度，但光环之下却疑云密布。

关键质疑点聚焦于其测试流程的不透明和操作的便捷性：有爆料称，OpenAI被指控在测试过程中“自删”了多达23道编程测试题，这些题目原本是用来全面评估模型编程逻辑、问题解决和代码生成能力的。更具讽刺意味的是，这个被用来衡量模型编程实力的“关键基准”，正是由OpenAI自己提出并主导的。 这无疑让人联想到“既是运动员又是裁判员”的尴尬境地。在一个由自身设定、自身执行、自身评判的测试环境中，模型的表现即便再出色，其公正性和可信度也必然大打折扣。删除部分测试题，无论出于何种理由，都不可避免地给人留下“择优而取”、“避重就轻”的印象，仿佛是为了达到某个预设的优异分数，不惜对测试数据进行“美化”或“筛选”。

这种做法，不仅模糊了GPT-5的真实编程能力边界，更严重动摇了公众对AI技术评估体系的信任。 如果属实，这一系列操作无疑给GPT-5的实际能力蒙上了一层阴影，也严重损害了公众对AI技术评估公正性的信任。我们究竟看到的是模型真实能力的飞跃，还是精心修饰的“成绩单”？AI模型的能力评估，本应是严谨、客观、可重复的科学过程，其结果是行业和用户信赖的基础。而这种“注水”式的进步展示，短期内或许能赢得市场关注，但长期来看，必将透支用户和行业的信任，对整个AI行业的健康发展而言，这都是一个危险的信号。 

 在AI技术飞速发展的当下，透明度是构建信任的基石，而独立的第三方评估则是确保公正的必由之路。OpenAI作为行业领导者，理应以身作则，主动公开其测试方法、数据和结果，接受更广泛的同行评审和外部验证。只有当模型的“成绩”经得起最严苛的检验，才能真正赢得世界的尊敬和信任。否则，任何在“自家基准”上取得的“辉煌”，都将永远笼罩在“猫腻”的阴影之下。

别急着用 GPT-5 编程了，可能它能力没有你想象中那么强。

有人发现，官方测试编程能力用的 SWE-bench Verified，但货不对板，只用了 477 个问题。

什么意思呢？我们知道，SWE-bench 是评估模型 / 智能体自主编程能力的一个通用且常用的指标。而 SWE-bench Verified 作为它的子集，本来一共有 500 个问题。

现在相当于 OpenAI 自行省略的那 23 个问题，自己搞了个子集的“子集”来评估模型能力。

而如果这些题默认零分，那么得分实际上是比 Claude Opus 4.1 还要低的。因为现在仅有 0.4% 的差距。

OpenAI 这种自行忽略 23 道题的操作，已经不是第一次了。

早在 GPT-4.1 发布时就信誓旦旦地说，之所以忽略是因为这些问题的解决方案无法在他们的基础设施运行。

离谱了朋友们！要知道 SWE-bench Verified 这个 OpenAI 自己提的，理由也是因为 SWE-bench 无法系统评估模型的编程能力，所以决定自己再提炼一个子集。

现在又因为测试题无法正常运行，所以自行又搞了个子集的“子集”。

本来以为 GPT-5 直播里出现图表错误已经够离谱了，结果现在告诉我这里面的成绩可能还有假？

已经开始有网友发现，GPT-5 能力并不比 Claude 4.1 Opus 好多少。

现在来看，这个官方给的结果或许根本没有参考价值。

网友们除了自行忽略部分测试题，“伪造了结果”这一发现外，还发现，他们是将具有最大思维努力的 GPT-5 与没有扩展思维仅靠原始模型输出的 Opus 4.1 进行比较。这种比较实际上没有参考意义。

而他们之所以只使用 477 个问题来测试，理由也跟 GPT-4.1 发布时一样，因为他们内部的基础设施运行不了剩下的 23 个问题。

今年 4 月份发布 GPT-4.1 时，在同一基准仅使用 477 个问题下得得分在 54.6%。

当时官方还指出，如果保守地将这些问题的得分定为 0，那么 54.6% 的得分就变成了 52.1%。即便是这样，这个数值放在当时也是最高的。

而 Anthropic 这边，其实也已经发现了 OpenAI 这个操作。

就在 Claude Opus 4.1 发布公布编程成绩之时，在文章的末尾有这么一句话。

对于 Claude 4 系列模型，他们继续使用相同的简单框架，该框架仅为模型配备了两种工具 —— 一个 Bash 工具和一个通过字符串替换进行文件编辑的工具，并且不再包含 Claude 3.7 Sonnet 中使用的第三个“规划工具”。

并在最后注明：在所有 Claude 4 模型中，他们报告的分数基于完整的 500 个问题。OpenAI 模型的得分基于 477 道问题的子集进行报告。

如果说，SWE-bench Verified 还是 OpenAI 自己提的基准，那这件事就更离谱了。

这不就相当于自己搬起石头砸自己的脚啦嘛。

当时啊还是因为类似的原因 —— 他们测试发现 SWE-bench 的一些任务可能难以解决甚至无法解决，导致 SWE-bench 无法系统性评估模型的自主编程能力。

于是乎，他们决定与 SWE-bench 的作者合作，决定弄出个新版本，希望能够提供更准确的评估。

他们共同发起了一项人工注释活动，共有 93 位资深程序员参与进来，以筛选 SWE-bench 测试集每个样本，从而获得适当范围的单元测试和明确指定的问题描述。

他们随机抽取了 1699 个样本，然后基于统一标准来进行标注。

比如，问题描述是否明确？每个注释都有一个标签，范围从 [0, 1, 2, 3]，严重程度依次递增。

标签 0 和 1 表示轻微；标签 2 和 3 表示严重，表示样本在某些方面存在缺陷，应予以丢弃。

此外，我们还会评估每个示例的难度，方法是让注释者估算开发人员确定并实现解决方案所需的时间。

最终得到了 500 个经过验证的样本，并且按照难度对数据集进行细分。“简单”子集包含 196 个小于 15 分钟的修复任务，而“困难”子集包含 45 个大于 1 小时的任务。

结果现在这个子集又被 OpenAI 缩减了。

不过，还是有个总榜单或许值得参考，就是那个最原始的 SWE-bench。

在这个榜单中，Claude 4 Opus 还是占据着领先位置。