この記事は、会員限定記事ですので、アクセスすることができません。購読してアカウントをアップグレードすると、本記事に加え、既存の会員専用コンテンツが全て読めるようになります。
料金および本ブログの詳細、団体購読などについては、「本ブログについて」をご覧ください。
系列変換 (Seq2Seq) 事前学習モデルの最前線と今後のトレンド
系列変換 (Seq2Seq) モデルは、翻訳のみならず、要約や対話の応答生成などの幅広い自然言語処理タスクにおいて使われている非常に重要なモデルです。近年の BERT のような事前学習モデルと転移学習の成功を受け、系列変換モデルに対してもさまざまな事前学習モデルが提案されています。本記事では、これまで提案された重要なモデル・論文を紹介し、今後のトレンドについて考えてみたいと思います。