跳到正文
硅脉动SiliconMai

Meta发布Llama 4:首个MoE架构,Maverick登顶开源榜首

Meta突然发布Llama 4系列,是其首个基于MoE架构的模型家族,含Scout、Maverick与预告中的Behemoth。Maverick在竞技场得分1417、超越DeepSeek-V3,成为排名第一的开源模型。

硅脉动
Meta资料图

Meta在周末突然发布Llama 4系列,这是Llama家族首个基于MoE(混合专家)架构的模型系列,目前包含三款:Llama 4 Scout、Llama 4 Maverick,以及尚未推出、仅作预告的Llama 4 Behemoth。Meta毫不避讳地称前两者为“迄今为止最先进的型号,也是同类产品中最好的多模态型号”。

从参数配置看,中杯Scout为16个专家、170亿激活参数的多模态模型,单个H100 GPU即可运行,并拥有1000万(10M)token的上下文窗口;大杯Maverick为128个专家、170亿激活参数,官方称其击败GPT-4o和Gemini 2.0 Flash,并与DeepSeek-V3拥有同等代码能力、而参数仅需一半,主打与DeepSeek类似的性价比。超大杯Behemoth则是总参数量高达2万亿、288B激活参数的教师模型,Scout与Maverick均由其蒸馏而来,目前仍在训练中,多个基准测试已超过GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。

在发布同步更新的大模型竞技场排名中,Llama 4 Maverick在困难提示、编码、数学、创意写作方面并列第一,得分1417,不仅较Meta自家的Llama-3-405B提升149分,也成为史上第4个突破1400分的模型,并超越DeepSeek-V3,实现“亮相即登顶”,直接成为排名第一的开源模型。

Llama 4还开启了该系列的原生多模态时代:用户上传图片即可在对话框中直接提问,中杯与大杯被官方冠以“世界上同类产品中最好的多模态模型”标签,并掌握全球12种语言。在API定价上,Meta也打出低价策略,Maverick在性能与价格多个维度对标乃至压过DeepSeek。对开源阵营而言,Llama 4的发布不仅重夺开源榜首,也把长上下文与原生多模态作为新的竞争基准,迫使整个行业重新校准“开源天花板”的位置。