即便是最强大的模型，表现也差强人意！当把测试基准集换成 SWE-BENCH PRO 之后，得分直接从 Verified 的 70% 下滑到了不到 25%。因为 Verified 测试集数据污染严重，AI 可能在训练中“背会”了答案；然后任务过于简单，与现实中软件工程师面临的复杂挑战严重脱节。PRO 测试集针对性的做了提升，而且还新增了企业级、长周期的任务👀 - 公开集（Public Set）：表

#AI软件工程 #GPT-5 #Claude Opus #SWE-BENCH PRO #思维瓶颈

相关新闻

Fu Sheng

2小时前

OpenAI刚拿下英伟达1000亿投资，又豪掷4000亿美金扩建“星际之门”，未来三年直奔7GW算力。要知道训GPT-5才用了20万显卡，下一代你敢想吗？关注我，第一时间洞察AI×资本的暗流涌动。

Tiger Chen & 前端之虎陈随易

20小时前

用回gpt5了，不用gpt5-codex了。花了几个小时，代码都写完了，直接用git回到最开始的状态了。。

LotusDecoder

2天前

科幻： AI 纪年法用自己主用model 的发布日作为时间纪年方式，例如今天 2025-09-23 是 GPT-5 发布第 48 天。那么可以做笔记写上， GPT-5 元年48日。 --- 起因是，见了一位老朋友，过年期间碰面的，最近又见一面，感觉朋友没什么变化，当然才半年是没什么变化。但我感觉自己，自 o1-pro 、gemini-2.5-pro 的密集咨询之后，这半年的价值

Jesse Lau 遁一子

4天前

GPT-5: 它还是个孩子体型：与成人上身长度接近，已达成年猎豹的身长级别（头体约 1.1–1.4 m）；但胸肩肌肉没完全“长实”，整体偏瘦长 → 常见于 12–24 个月。被毛特征：背部无幼崽银灰色“披风”（3–6 月龄最明显，最长到 ~8–9 月才消退）→ 明确已过幼年期。比例：四肢细长、头相对小，动作轻快，不见老年期常见的厚重与驼背 → 非老年。生长节律：猎豹 ~12 月

Tony出海

6天前

GPT 5 越来越好用了，指哪打哪。而且秒出首token。非常快 Gemini 得赶紧出3了