OpenAI下一代Orion进步放缓，缩放定律面临挑战

据科技媒体The Information报道，OpenAI开发的下一个旗舰模型“Orion”目前仅完成约20%的训练，尽管表现已接近现有GPT-4，但进步幅度远不如前两代旗舰模型之间的代际飞跃。该模型在语言任务上表现更好，但在编码等任务上可能不会优于旧模型，且在数据中心运行成本可能更高。

这一进展直接挑战了AI领域长期奉行的“缩放定律”——即在数据量与算力持续增加的假设下，模型性能将大幅跃升。报道援引OpenAI员工称，Orion部分接受了由GPT-4及近期推理模型等生成的人工智能合成数据训练，而合成数据可能导致新模型在某些方面与旧模型趋同。Meta的扎克伯格、Databricks的Ion Stoica也都指出，尽管编码与复杂任务仍在进步，但常识判断与通用任务能力的提升已趋于平缓。

为应对基于训练的缩放定律见顶，业界正把精力转向“初始训练之后改进模型”的后训练范式。OpenAI正将更多代码编写能力嵌入模型，并探索可接管个人电脑、执行点击与光标操作的软件；其还成立由前预训练负责人Nick Ryder带领的专门团队，通过训练模型解大量数学与编码题、配合人工评估打分来逐步提升复杂问题表现。

但质量放缓的另一面是成本陡升：o1推理成本已是普通模型的六倍，研究员Noam Brown在TEDAI大会上警告，更先进模型可能带来数百亿美元费用，“扩展范式终会崩溃”。在高质量训练数据减少、算力成本攀升的双重约束下，Orion的放缓既是技术信号，也是商业警示——AI公司必须在训练数据与计算资源的平衡中，寻找不靠无限烧钱也能持续进步的路径。