この記事は、会員限定記事ですので、アクセスすることができません。購読してアカウントをアップグレードすると、本記事に加え、既存の会員専用コンテンツが全て読めるようになります。購読はすぐに完了し、全ての記事にアクセスできるようになります。
BERTはもう古い？ 深層学習トップ会議 ICLR 2020 から見る事前学習モデル・テキスト生成の最前線
表現学習・深層学習の最高峰会議 ICLR 2020 が 4/26 から 5/1 にかけてオンライン開催されました。本記事では、ICLR 2020 にて発表された論文、その中でも事前学習モデル、トランスフォーマーの改善、テキスト生成モデル関連の研究に焦点を当て、紹介してみたいと思います。