Together AI 发布 FlashAttention-4:算法与内核协同设计应对非对称硬件扩展
FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling
AI 导读Together AI 发布 FlashAttention-4,通过算法与内核协同设计最大化 Blackwell GPU 上矩阵乘与 softmax、显存操作的并行重叠。
来源:Together AI 研究与产品博客 · together.ai
事件后续1
查看事件全部- Together AI 发布 FlashAttention-4:算法与内核协同设计应对非对称硬件扩展Together AI 研究与产品博客 · 3 月 5 日