GPT-5大提升,o3对抗赛夺冠,但OpenAI越来越难让人惊艳了?,gpt3介绍
尽管大模型的能力仍然在快速进步,但其进步幅度越来越难以给人带了惊艳感了。这不是OpenAI自己的问题,甚至某种意义上,这也不是一件坏事,因为是之前人们的预期已经被拉到过高。但无论如何,在现有的算法范式下,AI大模型或许也离瓶颈越来越近了。
GPT-5水平如何?
作为OpenAI今年最受期待又屡屡跳票的重磅产品,ChatGPT-5今天的确给出了一些颇具说服力的测评数据,证明其推理能力有着显著进步。
编程方面,GPT-5在SWE-bench Verified上得到74.9分,高于o3的69.1和4o的30.8分。
博士水平的科学知识测试GPQA Diamond中,不调用工具的GPT-5 Pro推理模式拿到88.4分,创造新纪录。
多模态方面,GPT-5得到84.2分,比o3的82.9分有小幅提升。
高难度的Humanity's Last Exam(人性终极测试)上,GPT-5 Pro和GPT-5在不调用工具时分别得到30.7和24.8分,较o3的14.7分大幅提升。
大模型竞技场LM Arena的评分也已经出炉,GPT-5横扫所有单项的第一名。
此外,GPT-5推理模式的幻觉数量比o3少了六倍,成本方面则可以减少50-80%的token输出量。
有网友指出,在关于机翼升力原理的回答中,GPT-5也引用了一个广为流传的错误观点。当然,这样的问题归咎于AI未免过于苛刻。
做题好是不是真的好?
那么,如何评价GPT-5的真实水平,或许日前的大模型国际象棋对抗赛恰好给我们提供了一个很好的参考。
同样在今天凌晨结束的对抗赛上,OpenAI旗下的o3以4-0完胜Grok 4,夺得最终冠军。尽管Grok 4在此前两轮中都表现出色,但在决赛中,随着对局长度增加,Grok 4也开始表现出棋力下降。
例如在第一局中,Grok 4莫名其妙地放弃了自己的象,并且没有获得任何明显的回报,而Grok 4也并未在推理中说明理由。
o3尽管表现相对出色,在昨天的半决赛中还下出过正确率评分100%的棋局,但纵观整个比赛过程,也不乏低级失误。
或许有人会质疑,让AI下棋究竟能证明什么?AI对抗赛的胜负,是不是仅仅取决于它们使用了多大规模的训练数据?DeepSeek下棋不好,但是作诗是不是更好?
事实上,如果只纠结于下棋或者作诗的技能水平,说明并未理解谷歌采用这种比赛形式的逻辑。
如果大模型在接受了大量棋谱训练之后,体现出高超棋力,这只能证明AI的记忆力或者算力强大,而这件事在2017年就已经被AlphaGo证明过了。
上述无工具的数学测试,起到的也是类似作用:考验AI用人类逻辑进行计算的能力,而不是使用专门的机器算法。
因为无论是AlphaGo也好,还是计算工具也好,这样的AI在特定任务中无比强大,但是却毫无泛化性,不能解决任何其它问题。只有使用人类逻辑推理的模型,才能在人类世界中拥有最好的泛化性。
1、伏休养海显成效!广东创建国家级海洋牧场示范区达13个,广东海洋地址