Free Post 自然言語処理 トップ会議 EMNLP 2021 から学ぶ 文埋め込み・言語モデル研究の最前線 3週間ほど前に、自然言語処理分野のトップ会議のひとつである EMNLP 2021 がオンライン・オフラインのハイブリッド形式で開催されました。新しく強力な文埋め込みモデルや、トランスフォーマー・モデルの新たな解釈・変更の検証など、興味深く実用的な研究が多数発表されています。本記事では、EMNLP 2021 において発表された論文から厳選した注目論文を分かりやすく解説します。
Free Post 機械学習 長距離データで断トツの最高性能 状態空間系列モデル S4 を解説 これまでどんなモデルでも解けなかった系列タスク Path-X をはじめて解いて話題となっている系列モデル S4。状態空間モデルに基づき、連続時間系列・RNN・CNN 的な計算を統一的に扱えるなど、理論面・実用面の両方で非常に興味深い手法ですので、本記事で解説しました。
Free Post 機械学習 機械学習トップ会議 NeurIPS 2021 から厳選 要チェック論文まとめ 表形式データを高精度に処理する注意モデル、ニューラルネットのパラメータを一発で予測するニューラルネット、新たなデータ拡張手法、MLP など、今年も非常に興味深い研究が多数発表されています。本記事では、機械学習トップ会議 NeurIPS 2021 から厳選した要チェック論文を紹介します。
Free Post 自然言語処理 GPT-3 のみから機械翻訳モデルを訓練！？機械翻訳研究の最新動向 GPT-3 だけを使い、教師無しで機械翻訳モデルを訓練したり、100言語を英語を介さずに相互に翻訳できるモデルを訓練したりと、ここ最近、機械翻訳の分野でも非常に興味深い研究が続々と発表されています。本記事では、多言語翻訳・教師無し翻訳・機械翻訳のスケール性、に注目した最新の研究動向をいくつかピックアップして解説します。
Free Post コンピュータービジョン ResNetの逆襲！最新の訓練手法で古典的モデルを強くする方法【論文速報】 コンピューター・ビジョンで最も幅広く使われていると言っても過言ではない ResNet。「ResNetの逆襲」と題されたこの論文では、最適化手法やデータ拡張・正則化など、近年提案された強力な訓練方法を使って学習すると、非常に強力な性能を発揮することが分かりました。「そもそも機械学習における進歩はどこから来るか」という示唆を与える重要な論文ですので、論文速報として紹介しました。
Free Post 機械学習 トップ研究者が語る 学生・若手AI研究者が成果を出すためのアドバイス トップの研究者が、関わった様々なプロジェクトや、そこから得られた教訓・アドバイスなどをシェアする ICCV 併設ワークショップ SSLL。広く参考になる話やアドバイスが満載でしたので、以下の記事にまとめました【無料記事】。
Free Post 音声認識 音声にもパッチ化・MLP・CLIPの波が 音声に対する深層学習の最先端 本記事では、オーディオ・音声に対する深層学習モデルのうち、比較的最近発表された論文を中心にトレンドを追ってみます。特に、オーディオを対象にビジョン・トランスフォーマーの仕組みを適用した AST は、仕組みも簡単で性能も良く、音声ドメインにおいて今後も注目です。
Free Post 自然言語処理 これだけ人間に近づいた チャットボット・対話 AI 研究の最前線 最近も「エアフレンド」がネット上で話題になるなど、話題に事欠かないチャットボットや対話 AI。深層学習のモデルの発展に伴い、人間に近い自然な対話ができるモデルが次々に開発され、最近では、「共感」や「記憶」など、より人間らしい要素にフォーカスしたシステムも出現しています。本記事では、自由会話型のチャットボット・対話 AI について、主要な研究をたどりながら最新の動向まで解説します。
Free Post 機械学習 AI開発の常識を覆す 新トレンド「データ・セントリックな AI」とは モデル中心だったこれまでのAI開発の考えに疑問を呈し、データを中心に据える「データ・セントリックな AI」が新たにトレンドとなっています。少ない開発コストで高精度なシステムを訓練できたりと、現実世界にAIを活用する際に重要になるヒントも多く、要チェックです。本記事では、このデータ・セントリック AI の基本的な考えや、関連するシステム・論文などを紹介します。
Free Post 機械学習 コードを数行変更するだけ PyTorch を高速化する16個の簡単テクニック 機械学習モデルの訓練には長い時間がかかるのが常ですが、PyTorch には、非常に簡単な変更によって学習や推論を高速化できるテクニックがいくつか知られています。本記事では、PyTorch の最新の機能も含め、コードを数行変更するだけで学習・推論のパフォーマンスを大きく改善できる簡単なテクニックを合計16個紹介します。
Free Post 自然言語処理 最新研究から学ぶ 言語モデルの性能を向上させる5つの簡単なトリック 最近になって、言語モデルの性能を向上させる最新の研究が立て続けに発表されています。いずれも、比較的簡単な工夫で、トランスフォーマー・ベースの言語モデルの性能を改善したり、訓練を効率化したりといったことを可能にするものが多く、「GPT-3 超え」を達成したものもあれば、我々の日々の業務にも応用できそうなアイデアも多くあります。本記事では、最近の「言語モデルの性能向上テクニック」に関する文献をまとめて紹介します。
Free Post コンピュータービジョン DALL·E の再現も間近か 最新のビジョン×言語研究と「使える」データセットを解説 テキストから画像を生成したり、その逆に画像からキャプションを生成したりといった「ビジョン×言語」の研究。人工知能で今最も盛り上がっている分野だと言っても過言ではありませんが、今年のはじめごろに OpenAI からCLIP / DALL·E が発表され、その勢いにさらに加速がつきました。本記事では、「ビジョン×言語」分野の最新の研究と、最近発表された「使える」データセットを中心に、最新の動向を解説しました。
Free Post 音声認識 テキストを使わないNLP！？音声から直接言語を生成・翻訳する最新モデル動向 音声に対する自己教師学習技術の発展により、「テキストを使わない NLP」、すなわち、音声から直接言語を生成・翻訳できる機械学習手法が最近になってさかんに研究されています。本記事では、この「音声に対する自己教師学習」「テキストを使わない言語生成・翻訳」に関するここ数ヶ月の研究動向を紹介します。
Free Post 自然言語処理 書き換えに基づく言語生成モデル・文法誤り訂正の最新トレンド 文書要約やテキスト簡素化などのタスクにおいて、入力を書き換えることによって出力を生成する「書き換えに基づく」言語生成モデルの利用が急速に広まっています。入力を最大限活用し、少ない語彙数でも高精度な生成を実現できるこれらのモデル。ここ最近のトレンドをまとめました。また、テキスト書き換えとして代表的な「文法誤り訂正」についても、このトレンドを受け、ここ1〜2年で新たな進展がありましたので、本記事で解説します。
Free Post 機械学習 タスクの難しさに応じて計算量を自動調節するモデル PonderNet を完全解説【論文速報】 DeepMind から、タスクの難しさに応じて計算量を自動で調整してくれるモデル PonderNet が最近発表され、話題になっています。PonderNet は入力の難しさに応じてを必要なだけ「熟考」を繰り返すことによって正解を導きます。本記事では、この実用的かつ興味深いモデル PonderNet を論文速報として解説します。
