阶跃朱亦博谈AI Infra：第三方须向模型或硬件做垂直整合

阶跃星辰联合创始人朱亦博近日在播客节目《42章经》中系统阐述了他对AI Infra的理解。朱亦博曾先后担任微软、字节跳动的AI Infra负责人，并有谷歌任职经历，其职业轨迹与AI Infra的发展基本同步。

朱亦博将AI Infra分为硬件与软件两部分：硬件指AI芯片、GPU、交换机等设备；软件则可类比云计算分为三层，底层类似IaaS解决计算、通信和存储，中间层类似PaaS负责资源调度与管理并涵盖MaaS，最上层则对应训练与推理框架的优化。他强调，AI Infra的绝对核心是GPU，而传统Infra的核心是CPU。

他认为，第三方Infra公司短期价值在于为客户提供一个可自由选择不同API的集贸市场，但由于Infra层很难拉开长期技术差距、竞争激烈，若没有独特价值很容易被云厂商或模型公司吃掉。因此他给出的建议是，不要做夹在模型和硬件中间的人，而应向上与模型做深度整合，或向下与硬件做co-design。

在评价指标上，朱亦博指出MFU等传统硬件利用率指标已不足以衡量优劣，当前最重要的是decoding即模型吐字速度，它直接决定线上业务成本和强化学习效率。他解读称，DeepSeek之所以能率先跑出R1，关键在于选对了优化目标——在别人追求给定训练算力训出最好模型时，DeepSeek瞄准的是给定推理成本训出最好模型，恰好契合了2024年9月o1发布后强化学习成为主流趋势的方向；而梁文锋量化出身、更懂Infra，DeepSeek的Infra工程师数量也多于算法工程师。

朱亦博还介绍，阶跃星辰已开源Step 3，称其为国内首个支持第三方商用、数百亿参数规模的视觉推理模型，并给予国产芯片免费商用授权，试图通过压低国产卡上的推理成本，帮助国产芯片建立性价比竞争力。