この記事は、会員限定記事ですので、アクセスすることができません。購読してアカウントをアップグレードすると、本記事に加え、既存の会員専用コンテンツが全て読めるようになります。
料金および本ブログの詳細、団体購読などについては、「本ブログについて」をご覧ください。
Adamを超える最適化器現る！？自動で発見された最適化器Lionが凄い
AdamW のような最適化器 (オプティマイザー) がほぼ標準として幅広く使われている深層学習界隈にて、それを超える強力な最適化器が現れました。Google Brain は、自動プログラム探索手法を通じて、AdamW よりも高性能かつ効率の良い最適化器 Lion を発見しています。画像認識・生成、自然言語生成などの幅広い実用タスクにおいて、Adam を超えた性能と最適化の効率を達成した、ということです。本記事では、Google Brain から発表された最適化器自動探索アルゴリズムおよびその結果の Lion の論文を解説します。