Free Post コンピュータービジョン DALL·E の再現も間近か 最新のビジョン×言語研究と「使える」データセットを解説 テキストから画像を生成したり、その逆に画像からキャプションを生成したりといった「ビジョン×言語」の研究。人工知能で今最も盛り上がっている分野だと言っても過言ではありませんが、今年のはじめごろに OpenAI からCLIP / DALL·E が発表され、その勢いにさらに加速がつきました。本記事では、「ビジョン×言語」分野の最新の研究と、最近発表された「使える」データセットを中心に、最新の動向を解説しました。
Free Post 自然言語処理 書き換えに基づく言語生成モデル・文法誤り訂正の最新トレンド 文書要約やテキスト簡素化などのタスクにおいて、入力を書き換えることによって出力を生成する「書き換えに基づく」言語生成モデルの利用が急速に広まっています。入力を最大限活用し、少ない語彙数でも高精度な生成を実現できるこれらのモデル。ここ最近のトレンドをまとめました。また、テキスト書き換えとして代表的な「文法誤り訂正」についても、このトレンドを受け、ここ1〜2年で新たな進展がありましたので、本記事で解説します。
Free Post 自然言語処理 自然言語処理トップ会議 ACL 2021 から厳選！要チェック論文トップ10 先々週、自然言語処理のトップ会議である ACL 2021 がオンラインで開催されました。本記事では、ACL 2021 の論文の中から、現時点での引用数や、幅広い研究や開発に役立つかどうかなど、私の主観なども混ぜながら、要チェック論文トップ10 (といいながら、合計 11 本ありますが) を選んで解説しました。なるべく幅広いタスクやプロジェクトに役立つように、特定のタスク固有のものではなく、汎用的な手法のものを優先的に選んでいます。
Free Post 機械学習 知覚信号を前処理ナシで高速に処理！話題のモデル Perceiver IO を完全解説【論文速報】 最近、DeepMind から発表された「Perceiver (パーシーバー)」と、それを入出力に適用した「Perceiver IO」が、機械学習界隈で話題となっています。複数のモダリティの知覚信号を前処理ナシで高速に処理でき、様々なタスクで高い性能を達成しているこれらのモデル、本記事では、この Perceiver と、それを入出力に適用した「Perceiver IO」を、速報的に詳しく解説します。
Free Post 自然言語処理 NLP の最後の砦「分かち書き」を自動で学習！最新モデル Charformer を解説【論文速報】 多くの自然言語処理タスクで、いまだに独立のステップとして実行される「分かち書き」。これを、End-to-End で自動で学習し、文字・バイト単位の入力から直接、高品質な事前学習を実現する Charformer という手法が発表され話題になっています。「NLP の最後の砦」とも言える分かち書きの処理まで「ニューラル化」される重要なマイルストーンであると言えます。発表されてから2週間ほど時間が経ってしまいましたが、論文速報として紹介したいと思います。
Free Post 機械学習 GitHub の コード自動生成 AI「Copilot」の技術詳細を解説 【論文解説】 高性能なコードをコメント等から生成・補完してくれる GitHub Copilot。２週間ほど前にリリースされてから、ネット上にて何かと話題になりました。今週、GitHub Copilot を支える大規模言語モデルである 「Codex」の技術詳細に関する論文が OpenAI から発表されましたので、速報的に解説してみたいと思います。なお、この論文で記述されている Codex のプロダクション版が、GitHub Copilot の裏側で動いているとのことです。
Free Post 機械学習 ACL 2021 ベストペーパーを完全解説 今度こそ分かる最適輸送×機械学習の応用 近年、機械学習への応用が進んでいる重要なトピックである「最適輸送」 (optimal transport) ですが、ついに ACL 2021 のベストペーパーに最適輸送を使った論文が選ばれました。本記事では、最適輸送の基礎から機械学習への応用を、ACL 2021ベストペーパーを含めて解説しました。
Free Post 機械学習 無料で使える最強の言語モデル GPT-3 のオープン版 GPT-J とその使い方 「現時点で使える最強のオープンソース言語モデル」と言っても過言ではない GPT-3 のオープン版「GPT-J」が先日リリースされました。無料でこの性能、OpenAI API に課金するかどうかも考え直すレベルです。本記事では、関連モデル・技術に加え、GPT-J とその使い方を紹介しました。
Free Post 自然言語処理 言語モデルを高性能化する「プロンプト」技術とは NAACL 2021 主要論文まとめ GPT-3 などの強力な言語モデルが普及するに従い、訓練済み言語モデルの性能を最大限引き出すため「プロンプト」を活用する技術に関する研究が進んでいます。今週開催された自然言語処理トップ会議の一つ NAACL 2021 では、このプロンプト技術に関する論文が3本もベストペーパー入りするなど、大きなトレンドとなっているのを感じます。本記事では、NAACL 2021 の主要な論文を紹介しながら、この「プロンプト」技術のトレンドを紹介します。
Free Post コンピュータービジョン 多層パーセプトロン (MLP) 時代の到来と、トランスフォーマーの終焉 Google Brain から先週発表された多層パーセプトロン (MLP) にゲート機構を組み合わせた「gMLP」が、業界に衝撃を与えています。画像認識と BERT 的言語モデルにおいてトランスフォーマーに匹敵する性能を叩き出したからです。この記事では、この 「gMLP」の解説を中心として、関連する MLP 系の手法に少し触れ、「今後トランスフォーマーはどうなるのか」について考察してみたいと思います。
Free Post 自然言語処理 自然言語のためのデータ拡張手法まとめ【2021年最新版】 自然言語テキストに対しては、画像のように、簡単にデータ拡張ができません。そこで、これまで、自然言語のテキストに様々な操作を適用し、訓練データを人工的に増やす「自然言語のためのデータ拡張」に関する様々な手法が研究されてきました。本記事では、2021年最新の研究も含め、自然言語に対するデータ拡張手法をまとめてみたいと思います。
Free Post 自然言語処理 画像化したテキストから直接翻訳する全く新しいニューラル機械翻訳モデルが登場【論文速報】 以前、分かち書きに頼ることなく「文字」から高品質な事前学習を実現する CANINE という手法を紹介したばかりですが、今度は、トークンどころか「文字」という概念も使わない新しい形の機械翻訳モデルが登場しました。ジョンズ・ホプキンズ大学の研究者によって提案された、テキストを画像化してここから直接翻訳するこのモデル、「自然言語処理」と「画像処理」の境界を曖昧にしてしまう非常に興味深いものですので、論文速報として紹介したいと思います。
Free Post 自然言語処理 BERTとトランスフォーマーはこう使え 「効果的な訓練・微調整のコツ」総まとめ BERTやトランスフォーマーを使った自然言語処理が普及していますが、これらのモデルを効果的に訓練・微調整をするためには未だに「職人芸」的なテクニックが必要となります。「これを知っているだけで BERT とトランスフォーマーの訓練・微調整が劇的に安定・改善する」という手法を比較・検討した論文が最近になっていくつか出てきましたので、まとめて解説したいと思います。
Free Post 自然言語処理 機械翻訳のパラダイムが変わる！？非自己回帰的なテキスト生成・機械翻訳の最前線 単語を並列かつ高速に生成することのできる「非自己回帰的」なテキスト生成・機械翻訳手法が、2018年ごろから盛んに研究されています。最近になって、従来の自己回帰的なモデルに比べて大幅に高速でありながら、翻訳精度で匹敵するような手法も出現し始めました。本記事では、ごく最近の研究成果も含めた、「非自己回帰的 (non-autoregressive)」なテキスト生成・機械翻訳の研究トレンドを紹介します。
Free Post 機械学習 シンプルかつ効果的！深層学習で復活した「自己学習」の最新研究トレンド モデル自身を使ってラベル無しデータに「疑似正解」を付与、そこから新たなモデルを学習する「自己学習」 (self-training)。近年の深層学習技術の発展に伴って、その有効性を示す研究が画像・言語・音声の全分野で数多く発表されています。本記事では、その「自己学習」の最新の研究トレンドをいくつか紹介したいと思います。
