跳到正文
硅脉动SiliconMai

Meta与UCSD推出DeepConf方法,开源模型在AIME 2025首次实现99.9%准确率

Meta AI与加州大学圣地亚哥分校团队提出Deep Think with Confidence方法,通过置信度筛选推理路径,让开源模型在数学竞赛AIME 2025不用工具达到99.9%正确率,同时削减最多85%的token消耗。

硅脉动
AI资料图

Meta AI与加州大学圣地亚哥分校(UC San Diego)的研究团队近日提出一种名为Deep Think with Confidence(DeepConf)的推理方法,通过对推理路径进行“置信度筛选”,让开源模型在国际顶尖数学竞赛AIME 2025上取得99.9%的正确率。团队称,这是首次利用开源模型在AIME 2025上、且不使用任何外部工具的情况下实现该成绩。

方法的核心在于并行思考与动态过滤。模型会同时生成多条推理路径,DeepConf持续监控每条路径的“局部置信度”,将信心值过低的路径及时淘汰,只保留更有把握的路径进入最终表决;表决环节不再是简单计票,而是按置信度加权投票,使高置信度路径拥有更大话语权。以哈佛-麻省理工数学竞赛HMMT 25的一道题为例,系统在若干候选答案中,凭借支持路径更多且置信度更高,最终选出正确答案。

效率提升是该方法的另一卖点。团队公布的数据显示,DeepConf在多种模型与数据集上平均带来约10%的准确率提升,同时将生成token数量削减最高达85%。在AIME 2025基准上,使用GPT-OSS-120B模型时,在减少85% token消耗的前提下仍达到97.9%的准确率;离线模式下准确率由基线的97%提升至99.9%。方法适用于从8B到120B的各类开源模型,无需额外训练,也无需超参数微调,在vLLM中仅需约50行代码即可集成。

DeepConf提供离线与在线两种模式。离线模式在推理路径全部生成后,依据置信度加权聚合答案,最大化准确性;在线模式则在生成过程中实时参考置信度,一旦某条路径的信心值跌破由“离线预热”阶段设定的阈值,便立即停止生成,从而避免在错误路径上浪费算力。团队还引入自适应采样,依据已生成路径之间的一致性程度动态调整推理路径数量——若模型尚未就答案达成共识则继续生成,反之则停止。研究人员将两种在线策略分别命名为DeepConf-low和DeepConf-high,前者保留置信度前10%的路径,后者保留前90%,以在准确性与鲁棒性之间取得平衡。论文一作Yichao Fu为UC San Diego计算机科学与工程系博士生,师从张昊教授,此前在浙江大学获得学士学位,研究方向聚焦大模型推理的算法与系统优化。