人工知能(AI)・機械学習(ML)の最新動向を論文・国際学会のトレンド等から読み解き、分かりやすく解説します。

長距離データで断トツの最高性能  状態空間系列モデル S4 を解説
Free Post
機械学習

長距離データで断トツの最高性能 状態空間系列モデル S4 を解説

これまでどんなモデルでも解けなかった系列タスク Path-X をはじめて解いて話題となっている系列モデル S4。状態空間モデルに基づき、連続時間系列・RNN・CNN 的な計算を統一的に扱えるなど、理論面・実用面の両方で非常に興味深い手法ですので、本記事で解説しました。

機械学習トップ会議 NeurIPS 2021 から厳選 要チェック論文まとめ
Free Post
機械学習

機械学習トップ会議 NeurIPS 2021 から厳選 要チェック論文まとめ

表形式データを高精度に処理する注意モデル、ニューラルネットのパラメータを一発で予測するニューラルネット、新たなデータ拡張手法、MLP など、今年も非常に興味深い研究が多数発表されています。本記事では、機械学習トップ会議 NeurIPS 2021 から厳選した要チェック論文を紹介します。

パッチさえあればいい?画像認識・ViT において重要な要素とは【論文速報】
Free Post
コンピュータービジョン

パッチさえあればいい?画像認識・ViT において重要な要素とは【論文速報】

「パッチさえあればいい?」と題された論文が ICLR 2022 に投稿・公開され話題になっています。ConvMixer と呼ばれる画像のパッチ化と畳み込みに基づいた非常に単純なモデル、MLP や ViT と同等の性能をより少ないパラメータ数で実現しています。本記事では、ConvMixer を論文速報として解説し、画像分類において本当に重要な要素とは何か、について解説します。

GPT-3 のみから機械翻訳モデルを訓練!?機械翻訳研究の最新動向
Free Post
自然言語処理

GPT-3 のみから機械翻訳モデルを訓練!?機械翻訳研究の最新動向

GPT-3 だけを使い、教師無しで機械翻訳モデルを訓練したり、100言語を英語を介さずに相互に翻訳できるモデルを訓練したりと、ここ最近、機械翻訳の分野でも非常に興味深い研究が続々と発表されています。本記事では、多言語翻訳・教師無し翻訳・機械翻訳のスケール性、に注目した最新の研究動向をいくつかピックアップして解説します。

ResNetの逆襲!最新の訓練手法で古典的モデルを強くする方法【論文速報】
Free Post
コンピュータービジョン

ResNetの逆襲!最新の訓練手法で古典的モデルを強くする方法【論文速報】

コンピューター・ビジョンで最も幅広く使われていると言っても過言ではない ResNet。「ResNetの逆襲」と題されたこの論文では、最適化手法やデータ拡張・正則化など、近年提案された強力な訓練方法を使って学習すると、非常に強力な性能を発揮することが分かりました。「そもそも機械学習における進歩はどこから来るか」という示唆を与える重要な論文ですので、論文速報として紹介しました。

音声にもパッチ化・MLP・CLIPの波が 音声に対する深層学習の最先端
Free Post
音声認識

音声にもパッチ化・MLP・CLIPの波が 音声に対する深層学習の最先端

本記事では、オーディオ・音声に対する深層学習モデルのうち、比較的最近発表された論文を中心にトレンドを追ってみます。特に、オーディオを対象にビジョン・トランスフォーマーの仕組みを適用した AST は、仕組みも簡単で性能も良く、音声ドメインにおいて今後も注目です。

これだけ人間に近づいた チャットボット・対話 AI 研究の最前線
Free Post
自然言語処理

これだけ人間に近づいた チャットボット・対話 AI 研究の最前線

最近も「エアフレンド」がネット上で話題になるなど、話題に事欠かないチャットボットや対話 AI。深層学習のモデルの発展に伴い、人間に近い自然な対話ができるモデルが次々に開発され、最近では、「共感」や「記憶」など、より人間らしい要素にフォーカスしたシステムも出現しています。本記事では、自由会話型のチャットボット・対話 AI について、主要な研究をたどりながら最新の動向まで解説します。

AI開発の常識を覆す 新トレンド「データ・セントリックな AI」とは
Free Post
機械学習

AI開発の常識を覆す 新トレンド「データ・セントリックな AI」とは

モデル中心だったこれまでのAI開発の考えに疑問を呈し、データを中心に据える「データ・セントリックな AI」が新たにトレンドとなっています。少ない開発コストで高精度なシステムを訓練できたりと、現実世界にAIを活用する際に重要になるヒントも多く、要チェックです。本記事では、このデータ・セントリック AI の基本的な考えや、関連するシステム・論文などを紹介します。

ビジョン・トランスフォーマーはなぜCNNより強い?その仕組みを解明【論文速報】
Free Post
コンピュータービジョン

ビジョン・トランスフォーマーはなぜCNNより強い?その仕組みを解明【論文速報】

昨年10月にビジョン・トランスフォーマー (ViT) が画像認識にて最高精度を達成して以来、コンピューター・ビジョンの分野を席巻しています。そもそも、ViT の強さはどこにあるのでしょうか?本記事では、Google Research から発表された最近の論文を論文速報として紹介しながら、CNN (ResNet) とビジョン・トランスフォーマーとの違いを探っていきます。

コードを数行変更するだけ PyTorch を高速化する16個の簡単テクニック
Free Post
機械学習

コードを数行変更するだけ PyTorch を高速化する16個の簡単テクニック

機械学習モデルの訓練には長い時間がかかるのが常ですが、PyTorch には、非常に簡単な変更によって学習や推論を高速化できるテクニックがいくつか知られています。本記事では、PyTorch の最新の機能も含め、コードを数行変更するだけで学習・推論のパフォーマンスを大きく改善できる簡単なテクニックを合計16個紹介します。

最新研究から学ぶ 言語モデルの性能を向上させる5つの簡単なトリック
Free Post
自然言語処理

最新研究から学ぶ 言語モデルの性能を向上させる5つの簡単なトリック

最近になって、言語モデルの性能を向上させる最新の研究が立て続けに発表されています。いずれも、比較的簡単な工夫で、トランスフォーマー・ベースの言語モデルの性能を改善したり、訓練を効率化したりといったことを可能にするものが多く、「GPT-3 超え」を達成したものもあれば、我々の日々の業務にも応用できそうなアイデアも多くあります。本記事では、最近の「言語モデルの性能向上テクニック」に関する文献をまとめて紹介します。

DALL·E の再現も間近か  最新のビジョン×言語研究と「使える」データセットを解説
Free Post
コンピュータービジョン

DALL·E の再現も間近か 最新のビジョン×言語研究と「使える」データセットを解説

テキストから画像を生成したり、その逆に画像からキャプションを生成したりといった「ビジョン×言語」の研究。人工知能で今最も盛り上がっている分野だと言っても過言ではありませんが、今年のはじめごろに OpenAI からCLIP / DALL·E が発表され、その勢いにさらに加速がつきました。本記事では、「ビジョン×言語」分野の最新の研究と、最近発表された「使える」データセットを中心に、最新の動向を解説しました。

テキストを使わないNLP!?音声から直接言語を生成・翻訳する最新モデル動向
Free Post
音声認識

テキストを使わないNLP!?音声から直接言語を生成・翻訳する最新モデル動向

音声に対する自己教師学習技術の発展により、「テキストを使わない NLP」、すなわち、音声から直接言語を生成・翻訳できる機械学習手法が最近になってさかんに研究されています。本記事では、この「音声に対する自己教師学習」「テキストを使わない言語生成・翻訳」に関するここ数ヶ月の研究動向を紹介します。

書き換えに基づく言語生成モデル・文法誤り訂正の最新トレンド
Free Post
自然言語処理

書き換えに基づく言語生成モデル・文法誤り訂正の最新トレンド

文書要約やテキスト簡素化などのタスクにおいて、入力を書き換えることによって出力を生成する「書き換えに基づく」言語生成モデルの利用が急速に広まっています。入力を最大限活用し、少ない語彙数でも高精度な生成を実現できるこれらのモデル。ここ最近のトレンドをまとめました。また、テキスト書き換えとして代表的な「文法誤り訂正」についても、このトレンドを受け、ここ1〜2年で新たな進展がありましたので、本記事で解説します。

You've successfully subscribed to ステート・オブ・AI ガイド
Great! Next, complete checkout for full access to ステート・オブ・AI ガイド
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.
Success! Your billing info is updated.
Billing info update failed.