人工知能(AI)・機械学習(ML)の最新動向を論文・国際学会のトレンド等から読み解き、分かりやすく解説します。

NLP の最後の砦「分かち書き」を自動で学習!最新モデル Charformer を解説【論文速報】
Free Post
自然言語処理

NLP の最後の砦「分かち書き」を自動で学習!最新モデル Charformer を解説【論文速報】

多くの自然言語処理タスクで、いまだに独立のステップとして実行される「分かち書き」。これを、End-to-End で自動で学習し、文字・バイト単位の入力から直接、高品質な事前学習を実現する Charformer という手法が発表され話題になっています。「NLP の最後の砦」とも言える分かち書きの処理まで「ニューラル化」される重要なマイルストーンであると言えます。発表されてから2週間ほど時間が経ってしまいましたが、論文速報として紹介したいと思います。

GitHub の コード自動生成 AI「Copilot」の技術詳細を解説 【論文解説】
Free Post
機械学習

GitHub の コード自動生成 AI「Copilot」の技術詳細を解説 【論文解説】

高性能なコードをコメント等から生成・補完してくれる GitHub Copilot。2週間ほど前にリリースされてから、ネット上にて何かと話題になりました。今週、GitHub Copilot を支える大規模言語モデルである 「Codex」の技術詳細に関する論文が OpenAI から発表されましたので、速報的に解説してみたいと思います。なお、この論文で記述されている Codex のプロダクション版が、GitHub Copilot の裏側で動いているとのことです。

ACL 2021 ベストペーパーを完全解説 今度こそ分かる最適輸送×機械学習の応用
Free Post
機械学習

ACL 2021 ベストペーパーを完全解説 今度こそ分かる最適輸送×機械学習の応用

近年、機械学習への応用が進んでいる重要なトピックである「最適輸送」 (optimal transport) ですが、ついに ACL 2021 のベストペーパーに最適輸送を使った論文が選ばれました。本記事では、最適輸送の基礎から機械学習への応用を、ACL 2021ベストペーパーを含めて解説しました。

教師あり学習に追いついた ビジョンにおける自己教師学習・表現学習の最前線
Free Post
コンピュータービジョン

教師あり学習に追いついた ビジョンにおける自己教師学習・表現学習の最前線

教師ラベルを使わずに人為的なタスクによって表現を学習する「自己教師学習」。自然言語処理の BERT や GPT のようなモデルでは既に一般的ですが、コンピューター・ビジョンの分野においても、従来の教師あり事前学習手法に匹敵する性能を上げはじめており、トレンドの変化を感じます。この記事では、ビジョンにおける自己教師学習・表現学習の最前線を解説しました。

機械学習の次のトレンド「非中央集権型」学習の最前線 群体学習と DeDLOC
Free Post
機械学習

機械学習の次のトレンド「非中央集権型」学習の最前線 群体学習と DeDLOC

現代の機械学習においては、大規模なデータセンターの計算資源を大量に使い大規模なモデルを中央集権的に訓練するという方法が主流になっています。しかし、この方法では、計算資源や予算を潤沢に持った一部の大企業などでしか強力なモデルを訓練できないという問題があります。また、訓練データもサーバーに集約しなければならないため、プライバシーの問題もあります。これらの問題に対処するために、最近になって、中央集権的なサーバーを持たずにモデルを訓練する手法がいくつか出現し始めました。本記事ではその中でも特に最近になって提案された「群体学習」と「DeDLOC」について、関連手法をおさらいしながら解説します。

「第3の深層学習ライブラリ」JAX/Flax と TPU を使ったモダンな機械学習
Free Post
機械学習

「第3の深層学習ライブラリ」JAX/Flax と TPU を使ったモダンな機械学習

TensorFlow、PyTorch に次ぐ「第3の深層学習ライブラリ」として、徐々に注目され始めている JAX と Flax。研究コードやライブラリでの採用も広がっています。本記事では、JAX / Flax に今から入門したい方のためのモダンな機械学習チュートリアルを解説しました。

無料で使える最強の言語モデル GPT-3 のオープン版 GPT-J とその使い方
Free Post
機械学習

無料で使える最強の言語モデル GPT-3 のオープン版 GPT-J とその使い方

「現時点で使える最強のオープンソース言語モデル」と言っても過言ではない GPT-3 のオープン版「GPT-J」が先日リリースされました。無料でこの性能、OpenAI API に課金するかどうかも考え直すレベルです。本記事では、関連モデル・技術に加え、GPT-J とその使い方を紹介しました。

言語モデルを高性能化する「プロンプト」技術とは  NAACL 2021 主要論文まとめ
Free Post
自然言語処理

言語モデルを高性能化する「プロンプト」技術とは NAACL 2021 主要論文まとめ

GPT-3 などの強力な言語モデルが普及するに従い、訓練済み言語モデルの性能を最大限引き出すため「プロンプト」を活用する技術に関する研究が進んでいます。今週開催された自然言語処理トップ会議の一つ NAACL 2021 では、このプロンプト技術に関する論文が3本もベストペーパー入りするなど、大きなトレンドとなっているのを感じます。本記事では、NAACL 2021 の主要な論文を紹介しながら、この「プロンプト」技術のトレンドを紹介します。

少量データから高精度モデルを学習 「学び方を学ぶ」メタ学習の最前線
Free Post
機械学習

少量データから高精度モデルを学習 「学び方を学ぶ」メタ学習の最前線

近年の機械学習モデルは、学習に大量の訓練データを必要とします。そこで、ごく少数のサンプルを使って対象のタスクに対するモデルを素早くかつ効果的に学習させる手法である「メタ学習 (meta-learning)」が 2016年ごろから活発に研究されています。本記事では、「学び方を学ぶ」メタ学習の主要な手法をおさらいし、比較的最近の手法も含めて解説してみたいと思います。

ついにラベル無しで音声認識を実現した Facebook の wav2vec-U を解説【論文速報】
Free Post
音声認識

ついにラベル無しで音声認識を実現した Facebook の wav2vec-U を解説【論文速報】

最近、「教師なしで音声認識を実現した」というモデル wav2vec-U (wav2vec Unsupervised) が発表されました。数年前の教師ありモデルに匹敵した性能を上げており、音声認識、表現学習、GAN、自己学習など、近年の深層学習技術の集大成とも呼べる成果だと思いますので、本記事では速報として紹介したいと思います。

多層パーセプトロン (MLP) 時代の到来と、トランスフォーマーの終焉
Free Post
コンピュータービジョン

多層パーセプトロン (MLP) 時代の到来と、トランスフォーマーの終焉

Google Brain から先週発表された多層パーセプトロン (MLP) にゲート機構を組み合わせた「gMLP」が、業界に衝撃を与えています。画像認識と BERT 的言語モデルにおいてトランスフォーマーに匹敵する性能を叩き出したからです。この記事では、この 「gMLP」の解説を中心として、関連する MLP 系の手法に少し触れ、「今後トランスフォーマーはどうなるのか」について考察してみたいと思います。

自然言語のためのデータ拡張手法まとめ【2021年最新版】
Free Post
自然言語処理

自然言語のためのデータ拡張手法まとめ【2021年最新版】

自然言語テキストに対しては、画像のように、簡単にデータ拡張ができません。そこで、これまで、自然言語のテキストに様々な操作を適用し、訓練データを人工的に増やす「自然言語のためのデータ拡張」に関する様々な手法が研究されてきました。本記事では、2021年最新の研究も含め、自然言語に対するデータ拡張手法をまとめてみたいと思います。

CNNも注意機構もなし 全結合層だけで画像分類するMLP-Mixerの衝撃【論文速報】
Free Post
コンピュータービジョン

CNNも注意機構もなし 全結合層だけで画像分類するMLP-Mixerの衝撃【論文速報】

畳み込み層やトランスフォーマーのような自己注意機構も使わず、多層パーセプトロンだけで高精度な画像分類を実現する「MLP-Mixer」。先週 Google Research から発表されたこちらの論文、業界内でちょっとした衝撃が走りました。本記事では、簡単な例も交えながら、要点を解説してみたいと思います。

最強のトランスフォーマー現る?トップ会議 ICLR 2021 から見る深層学習の最先端
Free Post
機械学習

最強のトランスフォーマー現る?トップ会議 ICLR 2021 から見る深層学習の最先端

深層学習のトップ会議として名高い会議 ICLR 2021 が先週オンラインで開催され、重要なモデル・手法が数多く発表されました。今回はその中でも「最強のトランスフォーマーモデルを探す」というテーマで、関連する論文を掘り下げてみたいと思います。

深層学習モデルの訓練を爆速化・スケール化するライブラリ DeepSpeed がすごい
Free Post
機械学習

深層学習モデルの訓練を爆速化・スケール化するライブラリ DeepSpeed がすごい

深層学習の訓練をスケール化・爆速にするライブラリ DeepSpeed。昨年あたりから徐々にその名前を聞くようになりましたが、日本語ではほとんど情報がありません。本記事では、DeepSpeed と、その核となる最適化手法 ZeRO に注目し、その手法と使い方をチュートリアルとして解説します。

You've successfully subscribed to ステート・オブ・AI ガイド
Great! Next, complete checkout for full access to ステート・オブ・AI ガイド
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.
Success! Your billing info is updated.
Billing info update failed.