機械学習

DeepMind から、タスクの難しさに応じて計算量を自動で調整してくれるモデル PonderNet が最近発表され、話題になっています。PonderNet は入力の難しさに応じてを必要なだけ「熟考」を繰り返すことによって正解を導きます。本記事では、この実用的かつ興味深いモデル PonderNet を論文速報として解説します。

AI の他分野で深層学習手法が発展するに従い、推薦システムも急速に発展しています。特に、ユーザーの行動履歴から商品などを推薦するセッションベースの推薦システムは、自然言語処理分野での技術の発展に追随しながら大きな発展を遂げています。本記事では、RNN・トランスフォーマーに基づく手法に主に注目しながら、系列・セッションベースの推薦システムの最新動向をまとめました。

現代の機械学習においては、大規模なデータセンターの計算資源を大量に使い大規模なモデルを中央集権的に訓練するという方法が主流になっています。しかし、この方法では、計算資源や予算を潤沢に持った一部の大企業などでしか強力なモデルを訓練できないという問題があります。また、訓練データもサーバーに集約しなければならないため、プライバシーの問題もあります。これらの問題に対処するために、最近になって、中央集権的なサーバーを持たずにモデルを訓練する手法がいくつか出現し始めました。本記事ではその中でも特に最近になって提案された「群体学習」と「DeDLOC」について、関連手法をおさらいしながら解説します。

TensorFlow、PyTorch に次ぐ「第３の深層学習ライブラリ」として、徐々に注目され始めている JAX と Flax。研究コードやライブラリでの採用も広がっています。本記事では、JAX / Flax に今から入門したい方のためのモダンな機械学習チュートリアルを解説しました。

近年の機械学習モデルは、学習に大量の訓練データを必要とします。そこで、ごく少数のサンプルを使って対象のタスクに対するモデルを素早くかつ効果的に学習させる手法である「メタ学習 (meta-learning)」が 2016年ごろから活発に研究されています。本記事では、「学び方を学ぶ」メタ学習の主要な手法をおさらいし、比較的最近の手法も含めて解説してみたいと思います。

深層学習のトップ会議として名高い会議 ICLR 2021 が先週オンラインで開催され、重要なモデル・手法が数多く発表されました。今回はその中でも「最強のトランスフォーマーモデルを探す」というテーマで、関連する論文を掘り下げてみたいと思います。

深層学習の訓練をスケール化・爆速にするライブラリ DeepSpeed。昨年あたりから徐々にその名前を聞くようになりましたが、日本語ではほとんど情報がありません。本記事では、DeepSpeed と、その核となる最適化手法 ZeRO に注目し、その手法と使い方をチュートリアルとして解説します。