人気記事 「ステート・オブ・AI ガイド」では、人工知能分野における研究開発の最新動向を、毎月5〜6本程度の記事+ニュースレターの形でお届けしています。以下は、人気のあった有料記事・無料記事を厳選して紹介します。これ以外にも多くの記事を執筆しています。本ブログの詳細については本ブログについて、記事一覧はトップページをご参照ください。有料記事「とりあえずAdam」で本当に大丈夫?深層学習の最適化手法はこう選べ深層学習モデルの訓練に欠かせない最適化手法(オプティマイザー)。多数の選択肢の中から適切な最適化手法をどう選ぶかについては、同僚やネット上から共有される経験則に頼っているのが現状です。本論文ではこの「最適化手法の選び方」を、体系的な実験に基づく証拠を元に調査し直し、有用なアドバイスを提供していますので、まとめて紹介したいと思います。ステート・オブ・AI ガイド萩原 正人長距離データで断トツの最高性能 状態空間系列モデル S4 を解説これまでどんなモデルでも解けなかった系列タスク Path-X をはじめて解いて話題となっている系列モデル S4。状態空間モデルに基づき、連続時間系列・RNN・CNN 的な計算を統一的に扱えるなど、理論面・実用面の両方で非常に興味深い手法ですので、本記事で解説しました。ステート・オブ・AI ガイド萩原 正人機械学習トップ会議 NeurIPS 2021 から厳選 要チェック論文まとめ表形式データを高精度に処理する注意モデル、ニューラルネットのパラメータを一発で予測するニューラルネット、新たなデータ拡張手法、MLP など、今年も非常に興味深い研究が多数発表されています。本記事では、機械学習トップ会議 NeurIPS 2021 から厳選した要チェック論文を紹介します。ステート・オブ・AI ガイド萩原 正人深層学習モデルの訓練を爆速化・スケール化するライブラリ DeepSpeed がすごい深層学習の訓練をスケール化・爆速にするライブラリ DeepSpeed。昨年あたりから徐々にその名前を聞くようになりましたが、日本語ではほとんど情報がありません。本記事では、DeepSpeed と、その核となる最適化手法 ZeRO に注目し、その手法と使い方をチュートリアルとして解説します。ステート・オブ・AI ガイド萩原 正人【2021年最新版】日本語BERTを徹底比較 事前学習言語モデルのオススメはこれ日本語で、BERT などの事前学習モデルを使った自然言語処理タスクを解く機会が増えてきました。しかし、BERT だけでも、様々な研究機関・企業が、訓練データ、サイズ、分かち書きの方法等の異なる様々なバージョンを公開しており、「どれをどう使ったら良いかよく分からない」という方も多いのではないでしょうか。この記事では、2021年1月の現段階で公開されている様々な BERT のモデルのタスク性能を比較し、現時点でのオススメについて紹介してみたいと思います。ステート・オブ・AI ガイド萩原 正人無料記事AI 激動の年!2022年の人工知能10大トレンドと必読論文2022年も、人工知能の分野は急速に発展しました。本記事では、最新の深層学習の論文を何百本と読み解いて分かった「2022年の最重要トレンド」を詳細な参考文献と共に紹介します。人工知能の分野は、進歩が早くてキャッチアップが大変ですが、本記事を読めば、大まかなトレンドと重要研究をおさえられるように書きました。なお、厳密には 2022年に発表されたものではなくても、トレンドを理解する上で重要な論文は全て含めるようにしています。ステート・オブ・AI ガイド萩原 正人Stable Diffusion を基礎から理解したい人向け論文攻略ガイド【無料記事】登場してから何かと世間を賑わせている Stable Diffusion。技術的には、過去2年間ほどで研究開発が急速に進んだ「拡散モデル」の応用ですが、どの論文をどのような順番で読んだら良いか困ってしまう方も多いのではないでしょうか。本記事では、この Stable Diffusion の背景となる技術を基礎から理解したい方向けの、必読論文のリストとその概要を紹介します。ステート・オブ・AI ガイド萩原 正人画像化したテキストから直接翻訳する全く新しいニューラル機械翻訳モデルが登場【論文速報】以前、分かち書きに頼ることなく「文字」から高品質な事前学習を実現する CANINE という手法を紹介したばかりですが、今度は、トークンどころか「文字」という概念も使わない新しい形の機械翻訳モデルが登場しました。ジョンズ・ホプキンズ大学の研究者によって提案された、テキストを画像化してここから直接翻訳するこのモデル、「自然言語処理」と「画像処理」の境界を曖昧にしてしまう非常に興味深いものですので、論文速報として紹介したいと思います。ステート・オブ・AI ガイド萩原 正人日本語処理にも革命!?分かち書きをせず高品質な事前学習を実現する CANINE がすごい 【論文速報】自然言語処理において避けては通れない前処理である「分かち書き」を全くすることなしに、高品質な事前学習言語モデルを訓練する CANINE (ケイナイン) という手法に関する論文が発表されました。「これからの日本語処理のやり方を根本的に変えてしまうかもしれない」とあまりに衝撃を受けたので、論文速報として解説したいと思います。ステート・オブ・AI ガイド萩原 正人英語だけで自然言語処理をする問題点と、日本語話者として私たちにできること近年、自然言語処理の分野では、強力なシステムやモデルが提案され、様々なタスクにおいて人間の精度に迫るものも出てきました。しかし、これらの進歩のほとんどは、英語や中国語など、資源が豊富にある言語を対象にしています。本記事では、英語だけを対象にして自然言語処理の研究開発をするのがなぜ問題なのか、について、関連文献などを紹介しながら追ってみたいと思います。ステート・オブ・AI ガイド萩原 正人