バッチ・レイヤー…どれを使う？今度こそ分かる深層モデルの正規化手法 完全ガイド

高精度な深層モデルを訓練するためには、正規化を正しく適用することが欠かせません。正規化といっても様々な種類があり、「名前だけは聞いたことがある」「実装に含まれているので何となく使っている」という方も多いのではないでしょうか。本記事では、バッチ正規化をはじめとして、重み正規化、レイヤー正規化、インスタンス正規化、グループ正規化など、様々な種類の正規化をとりあげ、それぞれの仕組みや、長所・短所について解説してみたいと思います。