機械学習

A collection of 35 posts

テキストを使わないNLP!?音声から直接言語を生成・翻訳する最新モデル動向
Free Post
音声認識

テキストを使わないNLP!?音声から直接言語を生成・翻訳する最新モデル動向

音声に対する自己教師学習技術の発展により、「テキストを使わない NLP」、すなわち、音声から直接言語を生成・翻訳できる機械学習手法が最近になってさかんに研究されています。本記事では、この「音声に対する自己教師学習」「テキストを使わない言語生成・翻訳」に関するここ数ヶ月の研究動向を紹介します。

タスクの難しさに応じて計算量を自動調節するモデル PonderNet を完全解説【論文速報】
Free Post
機械学習

タスクの難しさに応じて計算量を自動調節するモデル PonderNet を完全解説【論文速報】

DeepMind から、タスクの難しさに応じて計算量を自動で調整してくれるモデル PonderNet が最近発表され、話題になっています。PonderNet は入力の難しさに応じてを必要なだけ「熟考」を繰り返すことによって正解を導きます。本記事では、この実用的かつ興味深いモデル PonderNet を論文速報として解説します。

GANを超え、言語にも進出 拡散モデルによる画像言語生成の進歩がすごい
Free Post
機械学習

GANを超え、言語にも進出 拡散モデルによる画像言語生成の進歩がすごい

データに徐々にノイズを加え、その過程の逆を学習することにより画像や言語を生成する「拡散確率モデル」。ここ数ヶ月の間に、「画像生成で GAN を超えた」「尤度ベースで SOTA」「言語生成にも適用可」などの非常に画期的な手法・論文が次々と発表され、盛り上がりを見せています。本記事では最近発表された論文等も含め、最新動向を解説します。

知覚信号を前処理ナシで高速に処理!話題のモデル Perceiver IO を完全解説【論文速報】
Free Post
機械学習

知覚信号を前処理ナシで高速に処理!話題のモデル Perceiver IO を完全解説【論文速報】

最近、DeepMind から発表された「Perceiver (パーシーバー)」と、それを入出力に適用した「Perceiver IO」が、機械学習界隈で話題となっています。複数のモダリティの知覚信号を前処理ナシで高速に処理でき、様々なタスクで高い性能を達成しているこれらのモデル、本記事では、この Perceiver と、それを入出力に適用した「Perceiver IO」を、速報的に詳しく解説します。

深層学習に基づく系列・セッションベース推薦システムの最新動向
Free Post
機械学習

深層学習に基づく系列・セッションベース推薦システムの最新動向

AI の他分野で深層学習手法が発展するに従い、推薦システムも急速に発展しています。特に、ユーザーの行動履歴から商品などを推薦するセッションベースの推薦システムは、自然言語処理分野での技術の発展に追随しながら大きな発展を遂げています。本記事では、RNN・トランスフォーマーに基づく手法に主に注目しながら、系列・セッションベースの推薦システムの最新動向をまとめました。

GitHub の コード自動生成 AI「Copilot」の技術詳細を解説 【論文解説】
Free Post
機械学習

GitHub の コード自動生成 AI「Copilot」の技術詳細を解説 【論文解説】

高性能なコードをコメント等から生成・補完してくれる GitHub Copilot。2週間ほど前にリリースされてから、ネット上にて何かと話題になりました。今週、GitHub Copilot を支える大規模言語モデルである 「Codex」の技術詳細に関する論文が OpenAI から発表されましたので、速報的に解説してみたいと思います。なお、この論文で記述されている Codex のプロダクション版が、GitHub Copilot の裏側で動いているとのことです。

ACL 2021 ベストペーパーを完全解説 今度こそ分かる最適輸送×機械学習の応用
Free Post
機械学習

ACL 2021 ベストペーパーを完全解説 今度こそ分かる最適輸送×機械学習の応用

近年、機械学習への応用が進んでいる重要なトピックである「最適輸送」 (optimal transport) ですが、ついに ACL 2021 のベストペーパーに最適輸送を使った論文が選ばれました。本記事では、最適輸送の基礎から機械学習への応用を、ACL 2021ベストペーパーを含めて解説しました。

教師あり学習に追いついた ビジョンにおける自己教師学習・表現学習の最前線
Free Post
コンピュータービジョン

教師あり学習に追いついた ビジョンにおける自己教師学習・表現学習の最前線

教師ラベルを使わずに人為的なタスクによって表現を学習する「自己教師学習」。自然言語処理の BERT や GPT のようなモデルでは既に一般的ですが、コンピューター・ビジョンの分野においても、従来の教師あり事前学習手法に匹敵する性能を上げはじめており、トレンドの変化を感じます。この記事では、ビジョンにおける自己教師学習・表現学習の最前線を解説しました。

機械学習の次のトレンド「非中央集権型」学習の最前線 群体学習と DeDLOC
Free Post
機械学習

機械学習の次のトレンド「非中央集権型」学習の最前線 群体学習と DeDLOC

現代の機械学習においては、大規模なデータセンターの計算資源を大量に使い大規模なモデルを中央集権的に訓練するという方法が主流になっています。しかし、この方法では、計算資源や予算を潤沢に持った一部の大企業などでしか強力なモデルを訓練できないという問題があります。また、訓練データもサーバーに集約しなければならないため、プライバシーの問題もあります。これらの問題に対処するために、最近になって、中央集権的なサーバーを持たずにモデルを訓練する手法がいくつか出現し始めました。本記事ではその中でも特に最近になって提案された「群体学習」と「DeDLOC」について、関連手法をおさらいしながら解説します。

「第3の深層学習ライブラリ」JAX/Flax と TPU を使ったモダンな機械学習
Free Post
機械学習

「第3の深層学習ライブラリ」JAX/Flax と TPU を使ったモダンな機械学習

TensorFlow、PyTorch に次ぐ「第3の深層学習ライブラリ」として、徐々に注目され始めている JAX と Flax。研究コードやライブラリでの採用も広がっています。本記事では、JAX / Flax に今から入門したい方のためのモダンな機械学習チュートリアルを解説しました。

無料で使える最強の言語モデル GPT-3 のオープン版 GPT-J とその使い方
Free Post
機械学習

無料で使える最強の言語モデル GPT-3 のオープン版 GPT-J とその使い方

「現時点で使える最強のオープンソース言語モデル」と言っても過言ではない GPT-3 のオープン版「GPT-J」が先日リリースされました。無料でこの性能、OpenAI API に課金するかどうかも考え直すレベルです。本記事では、関連モデル・技術に加え、GPT-J とその使い方を紹介しました。

少量データから高精度モデルを学習 「学び方を学ぶ」メタ学習の最前線
Free Post
機械学習

少量データから高精度モデルを学習 「学び方を学ぶ」メタ学習の最前線

近年の機械学習モデルは、学習に大量の訓練データを必要とします。そこで、ごく少数のサンプルを使って対象のタスクに対するモデルを素早くかつ効果的に学習させる手法である「メタ学習 (meta-learning)」が 2016年ごろから活発に研究されています。本記事では、「学び方を学ぶ」メタ学習の主要な手法をおさらいし、比較的最近の手法も含めて解説してみたいと思います。

多層パーセプトロン (MLP) 時代の到来と、トランスフォーマーの終焉
Free Post
コンピュータービジョン

多層パーセプトロン (MLP) 時代の到来と、トランスフォーマーの終焉

Google Brain から先週発表された多層パーセプトロン (MLP) にゲート機構を組み合わせた「gMLP」が、業界に衝撃を与えています。画像認識と BERT 的言語モデルにおいてトランスフォーマーに匹敵する性能を叩き出したからです。この記事では、この 「gMLP」の解説を中心として、関連する MLP 系の手法に少し触れ、「今後トランスフォーマーはどうなるのか」について考察してみたいと思います。

最強のトランスフォーマー現る?トップ会議 ICLR 2021 から見る深層学習の最先端
Free Post
機械学習

最強のトランスフォーマー現る?トップ会議 ICLR 2021 から見る深層学習の最先端

深層学習のトップ会議として名高い会議 ICLR 2021 が先週オンラインで開催され、重要なモデル・手法が数多く発表されました。今回はその中でも「最強のトランスフォーマーモデルを探す」というテーマで、関連する論文を掘り下げてみたいと思います。

深層学習モデルの訓練を爆速化・スケール化するライブラリ DeepSpeed がすごい
Free Post
機械学習

深層学習モデルの訓練を爆速化・スケール化するライブラリ DeepSpeed がすごい

深層学習の訓練をスケール化・爆速にするライブラリ DeepSpeed。昨年あたりから徐々にその名前を聞くようになりましたが、日本語ではほとんど情報がありません。本記事では、DeepSpeed と、その核となる最適化手法 ZeRO に注目し、その手法と使い方をチュートリアルとして解説します。

You've successfully subscribed to ステート・オブ・AI ガイド
Great! Next, complete checkout for full access to ステート・オブ・AI ガイド
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.
Success! Your billing info is updated.
Billing info update failed.