跳到正文
硅脉动SiliconMai

OpenAI o3首战AI奥数拿下47分,开源模型仅差5分

AIMO2组委会公布测评:OpenAI通用模型o3-preview高算力版本在50道奥数题上单次拿到47分、双答案冲满分。开源冠军NemoSkills在放开算力后得35分,2000多支队伍最优解合并为47分。报告称若计入算力成本,开源与闭源差距正显著缩小。

硅脉动
OpenAI资料图

人工智能数学奥林匹克(AIMO)第二届大赛的完整测评报告正式发布。首次参赛的OpenAI通用模型o3-preview交出了最亮眼的成绩:在高算力版本、仅计入排名第一答案的条件下,它在50道奥赛级数学题上拿到47/50;若同时计入排名第二的答案则达到满分50/50。这一比赛此前仅限开源模型参加、且计算资源受限,o3的加入让开源与闭源的正面对比首次成为可能。

算力投入直接决定表现。AIMO在低、中、高三种算力下运行o3-preview,得分分别为43、46和47分,其中高算力版本额外使用了“采样-排序”机制挑选最佳答案。所有测试均在严格无数据污染的条件下进行,每道题仅尝试一次。作为对照,去年AIMO1的开源冠军NemoSkills在Kaggle平台受限于4块L4 GPU、96GB显存,公榜成绩为33/50。

为衡量开源模型的真实潜力,组委会为NemoSkills和imagination-research两支冠亚军队伍解除了资源限制,允许其使用一台8×H100、共640GB显存的机器。放开算力后,两队均得35/50,较各自公榜成绩仅提升1到2分。这意味着,即便迁移到远强于Kaggle的硬件上,开源冠军仍比o3-preview低算力版本少解出7道题。

差距在纳入成本后被大幅压缩。报告显示,o3-preview低算力版本单题平均成本略低于1美元,与在商业租赁的8×H100上运行单个获胜模型的成本量级相近。而AIMO2原始前五模型的合并得分为38/50,仅比o3-preview低算力版本落后5分——在同等算力口径下,两者的推理性能大致相当。此外,将2000多支参赛队伍各自最优解合并的“AIMO2-combined”总计解出47/50,与o3-preview高算力版本持平。

对于这一结果,数学家陶哲轩公开表示惊讶。报告结论认为,在奥数难度的数学推理上,最强开源模型与最强闭源模型的绝对差距依然显著,但若把算力成本计入考量,差距正在明显缩小、开源即将追上商用模型。组委会同时预告,难度进一步向国际数学奥林匹克(IMO)水平看齐的AIMO3将于2025年秋季启动。