「ステート・オブ・AI ガイド」では、人工知能分野における研究開発の最新動向を、毎月5〜6本程度の記事+ニュースレターの形でお届けしています。以下は、人気のあった有料記事・無料記事を厳選して紹介します。

これ以外にも多くの記事を執筆しています。本ブログの詳細については本ブログについて、記事一覧はトップページをご参照ください。

有料記事

「とりあえずAdam」で本当に大丈夫?深層学習の最適化手法はこう選べ
深層学習モデルの訓練に欠かせない最適化手法(オプティマイザー)。多数の選択肢の中から適切な最適化手法をどう選ぶかについては、同僚やネット上から共有される経験則に頼っているのが現状です。本論文ではこの「最適化手法の選び方」を、体系的な実験に基づく証拠を元に調査し直し、有用なアドバイスを提供していますので、まとめて紹介したいと思います。
長距離データで断トツの最高性能 状態空間系列モデル S4 を解説
これまでどんなモデルでも解けなかった系列タスク Path-X をはじめて解いて話題となっている系列モデル S4。状態空間モデルに基づき、連続時間系列・RNN・CNN 的な計算を統一的に扱えるなど、理論面・実用面の両方で非常に興味深い手法ですので、本記事で解説しました。
機械学習トップ会議 NeurIPS 2021 から厳選 要チェック論文まとめ
表形式データを高精度に処理する注意モデル、ニューラルネットのパラメータを一発で予測するニューラルネット、新たなデータ拡張手法、MLP など、今年も非常に興味深い研究が多数発表されています。本記事では、機械学習トップ会議 NeurIPS 2021 から厳選した要チェック論文を紹介します。
深層学習モデルの訓練を爆速化・スケール化するライブラリ DeepSpeed がすごい
深層学習の訓練をスケール化・爆速にするライブラリ DeepSpeed。昨年あたりから徐々にその名前を聞くようになりましたが、日本語ではほとんど情報がありません。本記事では、DeepSpeed と、その核となる最適化手法 ZeRO に注目し、その手法と使い方をチュートリアルとして解説します。
【2021年最新版】日本語BERTを徹底比較 事前学習言語モデルのオススメはこれ
日本語で、BERT などの事前学習モデルを使った自然言語処理タスクを解く機会が増えてきました。しかし、BERT だけでも、様々な研究機関・企業が、訓練データ、サイズ、分かち書きの方法等の異なる様々なバージョンを公開しており、「どれをどう使ったら良いかよく分からない」という方も多いのではないでしょうか。この記事では、2021年1月の現段階で公開されている様々な BERT のモデルのタスク性能を比較し、現時点でのオススメについて紹介してみたいと思います。

無料記事

年末年始に振り返る 2021年の人工知能10大トレンドと必読論文
2021年も、人工知能業界では様々な動きがありました。本記事では、最新の深層学習の論文を何百本と読み解いて分かった「2021年の最重要トレンド」を詳細な参考文献と共に紹介します。
画像生成 AI の最前線!拡散モデル・画像生成モデルの最新研究を解説
テキストの記述にしたがって高品質な画像を生成する「画像生成 AI」。最近、一般向けのサービスも多く登場し、普及が急速に進んでいますが、指示をテキストで書かなければならず、編集が難しいなどの問題があります。最近の論文では、言語に加えて「物体」「概念」を使って画像を生成したり、プロンプトを使って画像の細かな編集を可能にしたりと、生成される画像の質に加え、その「制御性」に改善を加える方向にシフトしつつある印象です。本記事では、この「テキストからの画像生成」技術に関して、次の発展フロンティアとなる技術を、比較的最近発表された論文から読み解きます。
画像化したテキストから直接翻訳する全く新しいニューラル機械翻訳モデルが登場【論文速報】
以前、分かち書きに頼ることなく「文字」から高品質な事前学習を実現する CANINE という手法を紹介したばかりですが、今度は、トークンどころか「文字」という概念も使わない新しい形の機械翻訳モデルが登場しました。ジョンズ・ホプキンズ大学の研究者によって提案された、テキストを画像化してここから直接翻訳するこのモデル、「自然言語処理」と「画像処理」の境界を曖昧にしてしまう非常に興味深いものですので、論文速報として紹介したいと思います。
日本語処理にも革命!?分かち書きをせず高品質な事前学習を実現する CANINE がすごい 【論文速報】
自然言語処理において避けては通れない前処理である「分かち書き」を全くすることなしに、高品質な事前学習言語モデルを訓練する CANINE (ケイナイン) という手法に関する論文が発表されました。「これからの日本語処理のやり方を根本的に変えてしまうかもしれない」とあまりに衝撃を受けたので、論文速報として解説したいと思います。
英語だけで自然言語処理をする問題点と、日本語話者として私たちにできること
近年、自然言語処理の分野では、強力なシステムやモデルが提案され、様々なタスクにおいて人間の精度に迫るものも出てきました。しかし、これらの進歩のほとんどは、英語や中国語など、資源が豊富にある言語を対象にしています。本記事では、英語だけを対象にして自然言語処理の研究開発をするのがなぜ問題なのか、について、関連文献などを紹介しながら追ってみたいと思います。