跳到正文
硅脉动SiliconMai

微博开源15亿参数VibeThinker,后训练成本7800美元

实验模型在数学和编程评测中达到部分大模型水平,整个后训练使用约3900个GPU小时。低成本结果值得关注,但能力集中于竞赛任务,尚不适合日常对话。

硅脉动
AI资料图

微博发布首个自研开源模型VibeThinker,参数量15亿。公司称,它在AIME和HMMT等数学测试中超过部分大型模型,并在编程评测中接近参数量更高的对手。

模型采用名为“频谱到信号原理”的训练方法,整个监督微调和强化学习后训练使用约3900个GPU小时,按当时租赁价格计算约7800美元。这个数字仅是后训练算力成本,不含基础模型、人员、数据和实验失败成本。

小模型的价值在于部署成本和可控性。参数更少通常需要更少显存,更适合研究机构和企业进行微调,也可能在限定任务上获得较低推理成本。但专门针对数学和竞赛编程训练,容易在相关基准中取得高分。

团队明确表示,当前版本是实验模型,没有针对日常聊天优化。评测领先不能说明它在知识覆盖、事实准确、安全或真实软件开发中同样领先,第三方复测和任务外泛化很重要。

VibeThinker提供了一条效率路线,而不是证明参数规模已经失去意义。后续应观察代码与权重是否完整、社区能否复现结果,以及小模型在企业任务中的实际成本和成功率。对开发者而言,可复现性比发布时的单项榜单更重要。