GPT-5大提升,o3对抗赛夺冠,但OpenAI越来越难让人惊艳了?,gpt3介绍
(文/观察者网 张广凯 编辑/吕栋)
GPT-5水平如何?
作为OpenAI今年最受期待又屡屡跳票的重磅产品,ChatGPT-5今天的确给出了一些颇具说服力的测评数据,证明其推理能力有着显著进步。
例如,在数学能力测试AIME 2025上,GPT-5 Pro在开启推理模式并调用工具(Python)的情况下,拿下满分成绩。即使不调用工具,GPT-5 Pro仍能拿下96.7的高分,GPT-5标准版也能拿到94.65分,显著高于o3的88.9分。
编程方面,GPT-5在SWE-bench Verified上得到74.9分,高于o3的69.1和4o的30.8分。
博士水平的科学知识测试GPQA Diamond中,不调用工具的GPT-5 Pro推理模式拿到88.4分,创造新纪录。
多模态方面,GPT-5得到84.2分,比o3的82.9分有小幅提升。
此外,GPT-5推理模式的幻觉数量比o3少了六倍,成本方面则可以减少50-80%的token输出量。
这些数据都证明,GPT-5算得上是一次成功的大版本升级。
而OpenAI发布会PPT里的小瑕疵,也引起了网友热议。大家发现在这张图表里,柱状图的高度出现了明显错误,但并不知道这是人为错误还是由AI生成。
做题好是不是真的好?
那么,如何评价GPT-5的真实水平,或许日前的大模型国际象棋对抗赛恰好给我们提供了一个很好的参考。
o3尽管表现相对出色,在昨天的半决赛中还下出过正确率评分100%的棋局,但纵观整个比赛过程,也不乏低级失误。
或许有人会质疑,让AI下棋究竟能证明什么?AI对抗赛的胜负,是不是仅仅取决于它们使用了多大规模的训练数据?DeepSeek下棋不好,但是作诗是不是更好?
事实上,如果只纠结于下棋或者作诗的技能水平,说明并未理解谷歌采用这种比赛形式的逻辑。
此次国际象棋比赛的意义,并非考验大模型的算力,而是考验其推理能力。
如果大模型在接受了大量棋谱训练之后,体现出高超棋力,这只能证明AI的记忆力或者算力强大,而这件事在2017年就已经被AlphaGo证明过了。
因为无论是AlphaGo也好,还是计算工具也好,这样的AI在特定任务中无比强大,但是却毫无泛化性,不能解决任何其它问题。只有使用人类逻辑推理的模型,才能在人类世界中拥有最好的泛化性。
1、这一次可以相信:3000点保卫战已经打赢!过4000点没问题,但不好赚钱,8000对30000保卫战
2、人口繁殖最具爆炸力的位置,是温饱线附近,人口爆炸增长的原因