英伟达FlashAttention 3提速最高16倍

英伟达FlashAttention 3提速最高16倍。

而且这一次，不再是一作Tri Dao单打独斗，FlashAttention-3直接和英伟达、Meta、谷歌等合作，针对最强芯片H100专门做优化。

针对英伟达H100倍后的Hopper架构新特性，三代进行了专门优化。

到了这次的FlashAttention-3，由于是直接和英伟达官方合作，对英伟达Hopper架构特点的理解更加透彻，软硬件之间的协同进一步增强了。

英伟达CUTLASS团队和cuDNN团队，都直接为该研究提供支持。

就7月13日公布的安排而言，硬件竞争的尺度不止是纸面性能，还包括供货、能耗、软件适配和单位成本。产品进入量产后，这些工程指标会直接影响客户采用。

就7月13日公布的安排而言，现阶段可以衡量的是已披露的数字和动作，尚未披露的成本、时间表与客户反馈仍构成不确定性。后续执行情况会决定这项计划的实际分量。

对英伟达而言，7月13日披露的信息显示，下一项可核验信息将来自实际交付和后续经营数据，而不是发布时的预测。

就7月13日公布的安排而言，市场接下来会比较承诺、预算与实际结果之间是否保持一致。