欢迎加入
「易源易彩交流群」
「易源易彩交流群」
QQ扫码进群
（QQ群号：860213912）
注册得好礼
新用户微信注册享20元算力, >立即注册
关注公众号得算力
新用户关注易彩微信公众号享20元算力，
邀请有礼
邀请1人得5元算力，可累计叠加, 查看规则
摘要
在最新的GPT-5编程测评中，出现了令人意外的反转。初步数据显示，GPT-5、Claude Opus 4.1和Gemini 2.5在SWE-BENCH PRO基准测试中的任务解决率分别为23.3%、22.7%和13.5%，均未超过25%。然而，进一步分析揭示，高达63.1%的任务未被模型提交。若将未提交任务纳入评估体系，GPT-5的实际表现显著优于对手，其有效解决率约为Claude Opus 4.1的两倍。这一发现源于Scale AI推出的新软件工程基准SWE-BENCH PRO，凸显了当前大模型在复杂编程任务中仍面临巨大挑战，同时也提示评估方式对结果解读具有关键影响。
关键词
GPT-5, Claude, Gemini, 测评, 反转
在SWE-BENCH PRO这一由Scale AI推出的全新软件工程基准测试中，GPT-5与Claude Opus 4.1的初次交锋看似势均力敌。数据显示，GPT-5的任务解决率为23.3%，而Claude Opus 4.1仅以微弱差距落后于22.7%。从表面看，两者的表现几乎难分高下，均未突破25%的解决率门槛，似乎印证了当前大语言模型在复杂编程任务面前仍显乏力。然而，深入数据背后，一场静默的“反转”正在酝酿。研究发现，高达63.1%的任务并未被模型主动提交——这意味着大多数挑战被悄然回避，而非尝试解决。当这一沉默成本被纳入评估体系后，GPT-5的实际有效表现浮出水面：其完成任务的相对效率竟达到Claude Opus 4.1的两倍。这不仅揭示了GPT-5在决策信心与任务执行意愿上的优势，也暴露出评估标准对模型能力判断的巨大影响。技术的进步不应仅以“答对多少”衡量，更应关注“敢于尝试多少”。这场测评的反转，不仅是数字的重估，更是对AI智能边界的一次深刻叩问。
Gemini 2.5在本次测评中的表现令人遗憾，其任务解决率仅为13.5%，在三者中垫底，且远低于GPT-5与Claude Opus 4.1。这一结果不仅反映了其在代码生成与逻辑推理方面的局限性，更凸显了其在面对复杂、开放式编程任务时的保守策略。结合63.1%的未提交任务比例来看，Gemini很可能在更多情境下选择了“不输出”或“放弃生成”，从而导致实际可见的解决率大幅缩水。这种行为模式可能源于其内部安全机制或置信度过滤策略过于严苛，宁可沉默也不愿冒险出错。虽然这在某些应用场景中可提升输出可靠性，但在需要主动探索与试错的软件工程任务中，却成了制约性能发挥的枷锁。相较于GPT-5展现出的更强主动性，Gemini 2.5的谨慎显得有些过度防御。此次测评提醒我们：在追求准确的同时，如何平衡“稳健”与“进取”，将是下一代AI模型必须跨越的认知鸿沟。
在人工智能迈向复杂现实任务的征途中，传统的评测方式正逐渐暴露出其局限性。多数基准测试聚焦于封闭式问题或简化场景，难以真实反映模型在实际软件工程环境中的表现。正是在这一背景下，Scale AI推出了全新的评估框架——SWE-BENCH PRO。它不仅模拟了开发者在GitHub上常见的修复漏洞、实现功能和重构代码等任务，更引入了真实项目的历史上下文与多文件协作逻辑，极大提升了测评的复杂度与真实性。这一基准的诞生，标志着大模型评估从“能否回答”向“能否交付”的范式转变。对于GPT-5、Claude Opus 4.1和Gemini 2.5这样的顶尖模型而言，SWE-BENCH PRO不再是一场语言理解的考试，而是一次接近真实世界的工程挑战。它的出现，迫使我们重新思考：当AI参与编程时，我们究竟是在测试它的知识储备，还是在检验它的实践勇气？正是在这种严苛而真实的环境中，模型的能力边界被真正暴露出来，也为后续的技术迭代提供了不可替代的反馈路径。
当初步数据揭示GPT-5、Claude和Gemini的解决率均未突破25%时，舆论一度倾向于认为当前AI在编程领域仍处于“稚嫩期”。然而，真正的震撼来自那被沉默掩盖的数字——63.1%的任务从未被提交。这意味着超过六成的挑战在模型内部就被悄然拦截，它们甚至没有机会出现在最终的评估视野中。这一发现彻底改写了人们对测评结果的认知。若将未提交任务视为“零分”纳入统计，GPT-5的实际有效表现竟达到Claude Opus 4.1的两倍，展现出更强的任务启动意愿与决策信心。相比之下，Claude虽谨慎稳健，Gemini则更为保守，后者仅13.5%的解决率背后，是系统对不确定性的高度规避。这场反转不仅是数据的重算，更是对AI“主动性”的深刻拷问：一个宁可沉默也不愿犯错的智能体，真的能胜任创造性的工程工作吗？技术的进步，不应只看答对多少，更应看见它敢于尝试多少。
当63.1%的未提交任务如尘埃落定般被重新纳入评估视野，GPT-5的真实能力图景终于在数据的裂缝中浮现。表面上看，23.3%与22.7%的解决率差距微乎其微，仿佛只是模型间一次平静的技术对弈；然而，一旦将“未提交”这一沉默行为视作失败的一部分，整个评价体系便发生了根本性的倾斜。GPT-5不仅完成了更多任务，更重要的是——它敢于尝试更多。数据显示，在相同测试条件下，GPT-5的实际有效执行率几乎是Claude Opus 4.1的两倍，这并非源于更高的准确率，而是来自更积极的任务响应机制。它选择面对问题，哪怕可能出错；而Claude则在更多时刻选择了退却，将不确定性留在黑箱之中。这种差异背后，是两种AI哲学的碰撞：一个是勇于试错、以行动驱动进步的探索者，另一个则是谨慎权衡、以安全为先的守序者。在软件工程这样充满不确定性的领域，主动性本身就是一种竞争力。GPT-5用它的“不完美输出”换来了更广阔的实践空间，而Claude的高精度幻象，却被那63.1%的沉默所消解。这场反转提醒我们：真正的智能，不只是答对题目的能力，更是面对未知时，是否有勇气按下“提交”键。
面对SWE-BENCH PRO揭示的深层挑战，GPT-5与Claude Opus 4.1的未来路径正逐渐清晰。对于GPT-5而言，其优势在于强大的任务启动意愿和较高的综合执行效率，但23.3%的解决率也暴露出其在代码逻辑严谨性、上下文理解深度方面的提升空间。未来的优化应聚焦于增强多文件协同推理能力，提升对复杂项目结构的长期记忆与调用机制，并通过引入更精细的自我验证模块来减少低级错误。相比之下，Claude Opus 4.1虽具备稳健的输出质量控制，却因过度保守导致高达六成以上的任务未被提交，严重拖累整体表现。其技术进化的关键在于重构置信度评估机制——如何在保证可靠性的同时，降低对模糊情境的过度敏感，鼓励模型在合理范围内进行试探性生成，将是突破瓶颈的核心。此外，两者都需加强对真实开发环境的模拟训练，融入更多GitHub级别的协作流程与调试反馈闭环。可以预见，下一代模型的竞争将不再局限于“答得多准”，而转向“敢不敢做”与“能不能改”的综合智能较量。在这条通往真正AI工程师的路上，勇气与智慧必须同行。
本次基于SWE-BENCH PRO的编程测评揭示了AI模型在真实软件工程任务中的深层挑战。尽管GPT-5、Claude Opus 4.1和Gemini 2.5的初始解决率均未超过25%（分别为23.3%、22.7%和13.5%），但关键发现在于63.1%的任务未被提交，反映出模型普遍存在“回避尝试”的倾向。当纳入未提交任务进行综合评估，GPT-5的实际有效表现达到Claude Opus 4.1的两倍，凸显其更强的任务执行意愿与决策主动性。这一反转不仅暴露了当前大模型在复杂推理与上下文处理上的局限，更引发对评估标准的反思：AI能力的衡量应从单纯“正确率”转向“尝试意愿”与“完成效率”的综合评判。未来优化需在提升准确性的同时，增强模型面对不确定性的探索勇气，推动AI从“语言理解者”向真正的“问题解决者”演进。