Cerebras推出人工智能推理服务Cerebras Inference，试图以晶圆级芯片架构缩短大模型生成响应的时间。公司把速度、成本和功耗作为这项服务与GPU云平台竞争的主要指标。
Cerebras表示，其服务运行Llama 3.1 8B模型时可达到每秒1800个输出token，运行70B模型时约为每秒450个token，速度最高可达基于英伟达GPU的超大规模云服务的20倍。上述数字属于公司测试结果。
这项服务由第三代晶圆级引擎驱动。Cerebras称，单颗芯片集成44GB SRAM，并把整个模型保存在芯片上，从而减少计算单元访问外部存储器时受到的带宽限制。
独立评测机构Artificial Analysis表示，其测得8B模型速度超过每秒1800个输出token，70B模型超过每秒446个token。Cerebras还称，相关推理成本约为微软Azure云平台的三分之一，功耗约为六分之一。
这些数据若能在大规模客户负载下维持，将降低实时生成和高并发应用的等待时间。不过，分析人士指出，在获得更具体的实际基准和规模化运营数据前，还无法确认该方案相对GPU平台的长期优势。
Cerebras本月早些时候已经提交首次公开募股申请，并聘请具有上市经验的财务负责人。推理服务的客户采用、稳定性和单位成本，将直接影响其技术优势能否转化为收入。
