热点事件已平息

发布 FlashAttention-4 算法与内核协同设计并附论文和代码：B200 BF16 上最高达 1605 TFLOPs/s，前向较 cuDNN 9.13 快至 1.3 倍、较 Triton 快至 2.7 倍

1 篇报道1 个报道来源3 月 5 日更新

先了解这件事

Together AI 发布 FlashAttention-4，通过算法与内核协同设计最大化 Blackwell GPU 上矩阵乘与 softmax、显存操作的并行重叠。

最新进展

Together AI 发布 FlashAttention-4：算法与内核协同设计应对非对称硬件扩展

事件进展1

3月5日 08:00 · 1 篇报道
发布 FlashAttention-4 算法与内核协同设计并附论文和代码：B200 BF16 上最高达 1605 TFLOPs/s，前向较 cuDNN 9.13 快至 1.3 倍、较 Triton 快至 2.7 倍
Together AI 研究与产品博客：Together AI 发布 FlashAttention-4：算法与内核协同设计应对非对称硬件扩展