正規化(BatchNorm / LayerNorm) — 深いNNを安定して学習させる「ならし」の技

活性化関数(#012) と Optimizer(#017) の話で「深い NN を学習可能にする工夫」を扱ってきた。本記事はその3本目の柱、正規化(Normalization)。

これが無いと、層を深く積むほど 各層の出力が暴走 して、学習が破綻する。それを防ぐために、各層の出力を毎回 「平均ゼロ、分散1付近」 に整える 仕組みが正規化。BatchNorm と LayerNorm の2大流派があり、現代の LLM はほぼ LayerNorm 系が支配している。

なぜ正規化が必要か — 深い層で 「分布が暴走」 する問題

NN は層を通過するたびに、入力が掛け算と足し算で変換される。1層通すと数値が10倍に、もう1層で100倍に、というように、値が層を経るごとに指数的に膨らんだり縮んだりする。

これが起きると2つの致命的な問題が出る。

1. 勾配爆発: 出力値が極端に大きくなると、勾配も巨大化、Optimizer が暴走
2. 勾配消失: 逆に極端に小さくなると、勾配がほぼゼロになり、上流層の重みが全く更新されない(深い層が機能しない)

2012年の AlexNet 以前は、深い NN は 「訓練できないもの」 として知られていた。逆伝播も既にあったが、勾配が深い層で消失/爆発するせいで実用化できなかった。

正規化は、「各層の出力を、毎回 平均ゼロ・分散1 のあたりに揃え直す」 ことで、この暴走を防ぐ装置。これがあるおかげで、100層・1,000層 級の深いネットワークが学習可能になった。

2大流派: BatchNorm と LayerNorm

そもそも「バッチ」って何? — 訓練データを小分けにする単位

BatchNorm の話に入る前に、機械学習における 「バッチ」 を整理する。

NN の訓練(#013)では、データを一度に全部食べさせるのではなく、小分けにして 1ステップずつ食べさせる のが普通。この 「小分け」 の1単位が バッチ(= ミニバッチ)。

• 訓練データ全体: 例えば 100万件
• バッチサイズ: 例えば 32件 / 256件 / 1024件(モデルや GPU に応じて選ぶ)
• 1エポック = 全データを1周食べさせる = バッチを何千〜何万回も回す

なぜ小分けにするのか、理由は3つ。

• メモリに乗らない: GPU の VRAM は 80GB 程度、100万件のデータ + モデルは到底乗らない
• 計算速度: 一度に全件は重すぎる、小分けで並列化したほうが GPU が遊ばない
• 勾配のノイズが学習に役立つ: 全件の 「本当の勾配」 よりブレた勾配のほうが、局所最適を抜けやすい(勾配降下記事(#015) で論じた SGD のメリット)

整理すると、バッチ = 「1ステップで一緒に処理する事例のかたまり」。BatchNorm は、この 「1バッチ分(例: 32件)の中で」 各特徴の平均と分散を計算して正規化する手法、と理解すればよい。

図1: BatchNorm vs LayerNorm — 「何の軸で平均と分散を取るか」が違う

BatchNorm(2015 Ioffe & Szegedy)

ミニバッチ内の全サンプルで、特徴ごとに平均と分散を計算して正規化 する。

• 例: 32枚の画像が入力なら、32枚を横並びで見て、各ピクセル位置の平均と分散を取って正規化
• 画像認識(CNN)で大ヒット、ResNet 152層を可能にした立役者
• 欠点: バッチサイズが小さいと統計が不安定、系列長が可変なテキスト処理に不向き

LayerNorm(2016 Ba, Kiros, Hinton)

1サンプル内で、特徴ごとに平均と分散を計算して正規化 する。バッチを跨がない。

• 例: 1つの文章のすべてのトークンを縦に見て、各トークン内の特徴ベクトルで平均と分散を取って正規化
• バッチサイズに依存しないので、系列処理(RNN, Transformer)に最適
• GPT, BERT, T5, Llama, Claude … LLM はほぼ全部 LayerNorm 系

どっちを使うかの判断基準

• 画像(CNN系): BatchNorm
• テキスト・音声・時系列(Transformer/RNN系): LayerNorm
• バッチサイズが極端に小さい場合: LayerNorm(BN は統計不安定)
• 2026年の LLM 開発現場: ほぼ自動的に LayerNorm の派生形を使う

本質: 「各層の入口で、入力分布を毎回リセットする」

BatchNorm と LayerNorm の表面的な違い(どの軸で集計するか)の奥に、共通の本質がある。

正規化の本質は、各層の入口で、入力分布を毎回 「標準的な形」 にリセットする こと。これで、上流の層が何をやっても、下流の層は 「同じ入り口」 から計算を始められる。

これは 「層間の依存を切る」 工夫 とも言える。正規化が無いと:

• 上流の重みが少しでも変わると、下流に渡される分布が大きく変わる
• 下流の層は 「入力分布が動く」 状態で訓練することになる(共変量シフト)
• 結果として、上流と下流が 「依存し合って」 訓練が不安定化

正規化は、各層の入口に “翻訳機「 を挟むようなもの。上流が何を喋っても、下流には常に 」標準語” で届く。下流の層は、自分の仕事に集中できる。

結果として、深い NN(100層、1,000層)が訓練可能になった。これがあるから Transformer(96層)、深い CNN(152層)、LLM が現代の規模で動いている。

コンサル感覚: KPI 標準化との対比

正規化の発想を、コンサル業務での KPI 標準化 に翻訳する。これは凡田が広告時代にやっていた話そのもの。

つまり NN の正規化 = 評価データの 「前処理として平均で割る」 という、コンサルが手作業で毎月やっていることを、機械が 毎ステップ・全層で自動的に やっている話。