萩原 正人

トップ研究者が「最近のモデルで最もエキサイティングなもの」と紹介するなど話題のモデル Perceiver をさらに改善した後続バージョンであるモデルが最近、相次いで発表されています。自己回帰的な認識・生成や、階層的・効率的なモデル化を可能としたこれらの手法、非常に興味深い発展ですので、本記事では元祖 Perceiver から始め、これらのモデルを解説します。

深層学習モデルの訓練に欠かせない最適化手法（オプティマイザー）。多数の選択肢の中から適切な最適化手法をどう選ぶかについては、同僚やネット上から共有される経験則に頼っているのが現状です。本論文ではこの「最適化手法の選び方」を、体系的な実験に基づく証拠を元に調査し直し、有用なアドバイスを提供していますので、まとめて紹介したいと思います。

Meta AI から、また非常に興味深いモデルが発表されました。音声・画像・言語を同じ仕組みで何でもベクトル化する自己教師あり学習手法 data2vec、そのシンプルさにも関わらず様々なタスクで SOTA を達成しています。本記事では、基礎となる自己教師あり学習、具体的には、マスク予測と自己蒸留手法から始め、data2vec を丁寧に解説しました。

「良い研究コードを書くためのハンドブック」と題された書籍が最近発表されました。プロジェクト構成、スタイルガイド、実験管理、オープンソースとしての公開まで、AI 分野で良い研究コードを書くためのアドバイスが満載です。本記事では、ガイドブックの内容と、関連する他の資料のアドバイスを項目ごとにまとめ、抄訳として紹介しました。

2021年も、人工知能業界では様々な動きがありました。本記事では、最新の深層学習の論文を何百本と読み解いて分かった「2021年の最重要トレンド」を詳細な参考文献と共に紹介します。

T5 などの著名な貢献のある Colin Raffel 氏による、「オープンソース・ソフトウェア (OSS) 的にモデルを開発する提言」と題されたブログ記事。OSS 的に、モデルにパッチを当てたり、マージしたりといった手法を駆使し、共同でモデルが開発できるような仕組みを提案し、話題になっています。本記事では、その提言の概要と、同時に発表されたいくつかの関連研究をまとめて解説します。