• 2025年1月5日
• PyTorch, 深度学习
• 阅读时间 3 分钟

Layer Normalization

本文用一个简单的数值例子，说明了 LayerNorm 的作用。

\[ y = \frac{x - \mathrm{E}[x]}{ \sqrt{\mathrm{Var}[x] + \epsilon}} * \gamma + \beta \]