現代の機械学習においては、大規模なデータセンターの計算資源を大量に使い大規模なモデルを中央集権的に訓練するという方法が主流になっています。しかし、この方法では、計算資源や予算を潤沢に持った一部の大企業などでしか強力なモデルを訓練できないという問題があります。また、訓練データもサーバーに集約しなければならないため、プライバシーの問題もあります。これらの問題に対処するために、最近になって、中央集権的なサーバーを持たずにモデルを訓練する手法がいくつか出現し始めました。本記事ではその中でも特に最近になって提案された「群体学習」と「DeDLOC」について、関連手法をおさらいしながら解説します。

TensorFlow、PyTorch に次ぐ「第３の深層学習ライブラリ」として、徐々に注目され始めている JAX と Flax。研究コードやライブラリでの採用も広がっています。本記事では、JAX / Flax に今から入門したい方のためのモダンな機械学習チュートリアルを解説しました。

近年の機械学習モデルは、学習に大量の訓練データを必要とします。そこで、ごく少数のサンプルを使って対象のタスクに対するモデルを素早くかつ効果的に学習させる手法である「メタ学習 (meta-learning)」が 2016年ごろから活発に研究されています。本記事では、「学び方を学ぶ」メタ学習の主要な手法をおさらいし、比較的最近の手法も含めて解説してみたいと思います。

深層学習のトップ会議として名高い会議 ICLR 2021 が先週オンラインで開催され、重要なモデル・手法が数多く発表されました。今回はその中でも「最強のトランスフォーマーモデルを探す」というテーマで、関連する論文を掘り下げてみたいと思います。

深層学習の訓練をスケール化・爆速にするライブラリ DeepSpeed。昨年あたりから徐々にその名前を聞くようになりましたが、日本語ではほとんど情報がありません。本記事では、DeepSpeed と、その核となる最適化手法 ZeRO に注目し、その手法と使い方をチュートリアルとして解説します。