この記事は、会員限定記事ですので、アクセスすることができません。購読してアカウントをアップグレードすると、本記事に加え、既存の会員専用コンテンツが全て読めるようになります。
料金および本ブログの詳細、団体購読などについては、「本ブログについて」をご覧ください。
最強の S4 早くも破る！移動平均ベース最新深層モデル MEGA を解説
「最強の系列モデル」と話題になった S4 を早くも破るモデルが登場しています。移動平均とゲート機構をベースとした最新深層モデル「MEGA」、トランスフォーマーよりも高速・省メモリであり、長距離モデリング、言語モデル・機械翻訳、音声・画像分類などでことごとく従来モデルを抜いて最高性能を達成しています。本記事では、ゲート機構・GLU の基礎から始め、この MEGA の技術詳細を解説しました。