GPT-5大提升,o3对抗赛夺冠,但OpenAI越来越难让人惊艳了?,gpt3介绍
(文/观察者网 张广凯 编辑/吕栋)
作为OpenAI今年最受期待又屡屡跳票的重磅产品,ChatGPT-5今天的确给出了一些颇具说服力的测评数据,证明其推理能力有着显著进步。
编程方面,GPT-5在SWE-bench Verified上得到74.9分,高于o3的69.1和4o的30.8分。
高难度的Humanity's Last Exam(人性终极测试)上,GPT-5 Pro和GPT-5在不调用工具时分别得到30.7和24.8分,较o3的14.7分大幅提升。
大模型竞技场LM Arena的评分也已经出炉,GPT-5横扫所有单项的第一名。
此外,GPT-5推理模式的幻觉数量比o3少了六倍,成本方面则可以减少50-80%的token输出量。
这些数据都证明,GPT-5算得上是一次成功的大版本升级。
但另人尴尬的是,在发布会后,网友迅速发现GPT-5在解一道极其简单的方程时又犯了计算错误:
看起来,GPT-5还是没能解决小数比大小的问题。
而OpenAI发布会PPT里的小瑕疵,也引起了网友热议。大家发现在这张图表里,柱状图的高度出现了明显错误,但并不知道这是人为错误还是由AI生成。
马斯克则“嘴硬”称,Grok 4在ARC-AGI测试中仍然打败了GPT-5。
做题好是不是真的好?
那么,如何评价GPT-5的真实水平,或许日前的大模型国际象棋对抗赛恰好给我们提供了一个很好的参考。
同样在今天凌晨结束的对抗赛上,OpenAI旗下的o3以4-0完胜Grok 4,夺得最终冠军。尽管Grok 4在此前两轮中都表现出色,但在决赛中,随着对局长度增加,Grok 4也开始表现出棋力下降。
o3尽管表现相对出色,在昨天的半决赛中还下出过正确率评分100%的棋局,但纵观整个比赛过程,也不乏低级失误。
事实上,如果只纠结于下棋或者作诗的技能水平,说明并未理解谷歌采用这种比赛形式的逻辑。
此次国际象棋比赛的意义,并非考验大模型的算力,而是考验其推理能力。
如果大模型在接受了大量棋谱训练之后,体现出高超棋力,这只能证明AI的记忆力或者算力强大,而这件事在2017年就已经被AlphaGo证明过了。
而在这个维度上,我们可以看到,无论是o3、Grok 4,还是最新升级的GPT-5,哪怕他们大部分时间都能够解决复杂问题,但也还会犯下对人类来说的低级错误。这是现有的Next Token Predicting范式下仍然难以完全克服的问题,也说明它们或许离AGI的最终形态还有遥远距离。
OpenAI显然也不再希望把外界的胃口掉得过高。在本次发布会上,我们可以看到OpenAI花了更多时间介绍GPT-5在垂直场景应用的能力,例如生成小游戏、回答健康问题的能力,这都是为了让AI与人类更好地共存与协作。
1、无人机运输货物的发展和局限性,无人机运输货物的发展和局限性是什么
2、郑州暴雨持续,潮新闻对话亲历者:路上漂着电动车,回家花了三个小时