快来看看GPT-5第一波实测,gpt_3
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
GPT-5的发布让全球震动，网友也都开始了试玩模式。
50万粉YoutuberMatthew Berman也参与其中，用25分钟的视频展示了数十个案例。
利用GPT-5，Berman做出了个魔方生成器，能够生成、打乱或复原任意阶数的魔方。
还做出了赛博版乐高，在网页中就能快乐搭积木。
还有其他博主用GPT-5一口气克隆出了太空模拟器、冥想应用，甚至是多邻国和Windows 95
总之，“博士生水平”的GPT-5确实表现惊人，登顶了大模型竞技场，也刷新了多个榜单。
甚至发布会演示的学法语游戏，让多邻国正在上涨的股价直接掉头。
网友感叹，GPT-5诞生后的开发者be like：
不过也有人并不买账，其中的代表就是OpenAI的老冤家马斯克，他拿出ARC-AGI的成绩单表示GPT-5不如Grok 4。
当然，马斯克和OpenAI之间存在太多恩怨，但GPT-5也确实有些细节让网友们纷纷吐槽。
比如直播当中OpenAI展示的图表上“52>69=30”的名场面，确实难评。
那么说到底，GPT-5的表现到底咋样呢？
GPT-5发布后，50万粉Youtuber Matthew Berman用一段25分钟的视频，密集展示了GPT-5在近30个任务里的表现。
开头展示了最早的魔方环节中，Berman启动20阶魔方求解后就切换到了后面的测试，但此时求解过程仍在继续。
Berman时不时会切换到魔方的界面，最终到了视频的18分半之后，打乱的20阶魔方被成功复原。
利用GPT-5，Berman还成功复刻出了网页版的Word和Excel，注意是应用本身而不是文档和表格。
还有计算机史上著名的生命游戏，Berman用GPT-5做出了个3D版本。
当然，少不了的还有经典的Vibe-coding项目六边形小球测试
而且在直接看图复刻，还支持通过滑动条设置重力、旋转方向等参数，甚至支持反重力。
在此基础之上，Berman还搞了个进阶版本，支持调节小球数量和大小，还有摩擦力、空气阻力、碰撞弹性系数等更多物理参数，以及背景、拖尾等视觉效果。
在物理方面，GPT-5还能通过代码对流体动力学规律进行模拟，并且同样支持多项参数调节。
除了编程相关，Berman也测试了GPT-5的多模态能力，让其根据照片推测地点。
还有图像生成。
包括以上在内，Berman一共测试了数十项任务，具体内容如下（中文为机翻，仅供参考），感兴趣的话原视频链接文末自取（参考链接1）：
当然除了Berman的视频，也还有更多的效果和成绩陆续被揭开。
比如长文本能力，相比o3和o4-mini，都有大幅提升。
以及在SimpleBench上，GPT-5的水平已经超过了人类平均水平，在大模型中尚属首次。
这是一个简单常识推理类的数据集，主要特点就是对于人类非常简单，但对大模型比较困难。
其实著名的strawberry数r就是这类问题的一个代表，结果是GPT-5数对了。
并且以防strawberry太过知名导致模型已有所防备，这位博主还加测了一个blueberry，结果同样正确。
另外有博主发现，GPT-5的Pro版本部分解决了大模型容易被问题表象迷惑的问题，识破了修改版的“外科医生谜语”。
“外科医生谜语”指的是有一个男孩和父亲遭遇车祸，父亲丧生，男孩被送往医院，结果医生（surgeon）说无法给男孩进行手术，因为男孩是TA的儿子。
而在英文语境当中surgeon常被认为是男性，而男孩的父亲已经丧生，不可能说出无法给儿子做手术的话。
但这个修改版本，去除了父亲丧生的设定，也没有提及医生和男孩的关系。
因此题目看似一致，但关键信息发生了巨大变化，以往的大模型非常容易被表象所迷惑。
不过GPT-5成功识破了这一点，表示这段话中并不存在谜语，同时也提及了原始版本。
不过只有Pro版本答对，GPT-5和GPT-5-Thinking都是当成了原始版本在回答。
除了实际体验和各种Benchmark，在用户自行投票的大模型竞技场上，GPT-5也获得了总分和各个单项的第一名。
不过虽然排名是第一，但Reddit上有网友仔细看了原始对战成绩，发现GPT-5和Gemini-2.5-Pro进行单独对战的时候，胜率不及后者。
比如在Text榜单中，排名是这样的：
而单独对战记录当中，Gemini-2.5-Pro在三分之二的对战中都战胜了GPT-5。
抓马的是，这篇帖子的正文已经被Reddit版主删除了。
不过评论被保留了下来，网友们分析Gemini智商高但情商低，指令遵循能力稍弱，因此不讨人们喜欢，导致最终综合表现排在了GPT之后。
还有LiveBench榜单当中，GPT-5综合排名第一，但是编程单项不及Claude-4-Sonnet。
当然对“GPT-5是第一”意见最大的还是要属马斯克，比如开头展示的ARC-AGI成绩，马斯克那一条之前就已经转发过一次。
更早前还晒出了Humanity’s Last Exam的成绩，表示GPT-5不如Grok 4 Heavy。
另外，GPT-5还有一些具体问题，比如在多模态数数场景当中依然存在惯性思维。
面对被人类P成5条腿的斑马、5个圆环的奥迪、3条腿的鸭子，GPT-5想当然认为它们是正常的斑马、奥迪和鸭子，并据此报出了与图片不相符的数目。
以及直播中展示的法语学习网站，虽然功能没啥问题，但设计风格被人们吐槽太丑了。
看来这下设计师可以先放一放心了（手动狗头）。
如果要找这次GPT-5发布会最大的槽点，52>69的名场面当之无愧。
OpenAI此举引发了不少吐槽和调侃，还有网友表示，这张图我拿o3给你修复好了：
也有网友拿隔壁Claude的数据做了一个戏仿版本，通过坐标轴让Claude 2个百分点的成绩提升看上去非常高。
这名网友表示自己应该去做营销的工作，不过这种方法虽然一样不讲武德，但和OpenAI的52>69相比，依然是小巫见大巫。
那么，你认为GPT-5的表现如何呢？旧版本一刀全被砍掉的ChatGPT，你还愿意继续付费吗？
[1]https://x.com/MatthewBerman/status/1953529524597272910
[2]https://www.reddit.com/r/LocalLLaMA/comments/1mk7u6i/gpt_5_seems_worse_than_gemini_in_headtohead/
1、中旗新材再次暂缓募投项目，上半年盈利持续下滑,中旗新材百度百科
3、南方网评：全民全运，全民健身与十五运同行,全运会 全民健身