蚂蚁百灵团队为何重新设计 SwiGLU？PowLU 激活函数的诞生始末
我们为什么要重新设计 SwiGLU？聊一聊 PowLU 的诞生始末
AI 导读蚂蚁百灵团队提出新激活函数 PowLU，以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题。
来源：公众号：蚂蚁百灵 · mp.weixin.qq.com
事件后续1
查看事件全部- 蚂蚁百灵团队为何重新设计 SwiGLU？PowLU 激活函数的诞生始末公众号：蚂蚁百灵 · 5 月 29 日