Free Post 自然言語処理 NLP における分かち書き最適化・分かち書きフリー手法の総まとめ 自然言語処理分野では、最近、入力を文字・バイト・ピクセル単位でそのまま処理する「分かち書きフリー」の手法が多数出現しています。また、トークン単位に分割する分かち書きを対象タスクと合わせて最適化する手法に関する研究も進んでいます。本記事では、これら「分かち書きフリー」「分かち書き最適化」の手法に注目し、最近の動向を解説しました。
Free Post 自然言語処理 穴埋め言語モデルを「内閣■■大臣」のような簡単な練習問題で甘やかさないコツ【じっくり1本】 マスク言語モデルは、黒塗りしたテキストを復元するという練習問題を何億問も解くことで汎用のテキストエンコーダに成長します。ところが練習問題の中には文全体を見なくても解けてしまう簡単なものがたくさん含まれています。今回紹介する ICLR 2021 の論文では、これらの簡単すぎる問題を難しい問題に差し替えると言語モデルの品質が向上する… という面白い話が示されています。前提知識の説明からじっくり1本ご紹介します。
Free Post 自然言語処理 GPT-3超えが続々と登場 発展を続ける超巨大言語モデルの最先端 GPT-3 が発表されて既に１年以上、「GPT-3 超え」を達成する超巨大言語モデルがその後も次々と発表されています。本記事では、最近 DeepMind から発表された Gopher / RETRO をはじめ、最近発表され「GPT-3 超え」を達成した数々の大規模言語モデルを解説しました。
Free Post 自然言語処理 トップ会議 EMNLP 2021 から学ぶ 文埋め込み・言語モデル研究の最前線 3週間ほど前に、自然言語処理分野のトップ会議のひとつである EMNLP 2021 がオンライン・オフラインのハイブリッド形式で開催されました。新しく強力な文埋め込みモデルや、トランスフォーマー・モデルの新たな解釈・変更の検証など、興味深く実用的な研究が多数発表されています。本記事では、EMNLP 2021 において発表された論文から厳選した注目論文を分かりやすく解説します。
Free Post 自然言語処理 GPT-3 のみから機械翻訳モデルを訓練！？機械翻訳研究の最新動向 GPT-3 だけを使い、教師無しで機械翻訳モデルを訓練したり、100言語を英語を介さずに相互に翻訳できるモデルを訓練したりと、ここ最近、機械翻訳の分野でも非常に興味深い研究が続々と発表されています。本記事では、多言語翻訳・教師無し翻訳・機械翻訳のスケール性、に注目した最新の研究動向をいくつかピックアップして解説します。
Free Post 自然言語処理 これだけ人間に近づいた チャットボット・対話 AI 研究の最前線 最近も「エアフレンド」がネット上で話題になるなど、話題に事欠かないチャットボットや対話 AI。深層学習のモデルの発展に伴い、人間に近い自然な対話ができるモデルが次々に開発され、最近では、「共感」や「記憶」など、より人間らしい要素にフォーカスしたシステムも出現しています。本記事では、自由会話型のチャットボット・対話 AI について、主要な研究をたどりながら最新の動向まで解説します。
Free Post 自然言語処理 最新研究から学ぶ 言語モデルの性能を向上させる5つの簡単なトリック 最近になって、言語モデルの性能を向上させる最新の研究が立て続けに発表されています。いずれも、比較的簡単な工夫で、トランスフォーマー・ベースの言語モデルの性能を改善したり、訓練を効率化したりといったことを可能にするものが多く、「GPT-3 超え」を達成したものもあれば、我々の日々の業務にも応用できそうなアイデアも多くあります。本記事では、最近の「言語モデルの性能向上テクニック」に関する文献をまとめて紹介します。
Free Post コンピュータービジョン DALL·E の再現も間近か 最新のビジョン×言語研究と「使える」データセットを解説 テキストから画像を生成したり、その逆に画像からキャプションを生成したりといった「ビジョン×言語」の研究。人工知能で今最も盛り上がっている分野だと言っても過言ではありませんが、今年のはじめごろに OpenAI からCLIP / DALL·E が発表され、その勢いにさらに加速がつきました。本記事では、「ビジョン×言語」分野の最新の研究と、最近発表された「使える」データセットを中心に、最新の動向を解説しました。
Free Post 自然言語処理 書き換えに基づく言語生成モデル・文法誤り訂正の最新トレンド 文書要約やテキスト簡素化などのタスクにおいて、入力を書き換えることによって出力を生成する「書き換えに基づく」言語生成モデルの利用が急速に広まっています。入力を最大限活用し、少ない語彙数でも高精度な生成を実現できるこれらのモデル。ここ最近のトレンドをまとめました。また、テキスト書き換えとして代表的な「文法誤り訂正」についても、このトレンドを受け、ここ1〜2年で新たな進展がありましたので、本記事で解説します。
Free Post 自然言語処理 自然言語処理トップ会議 ACL 2021 から厳選！要チェック論文トップ10 先々週、自然言語処理のトップ会議である ACL 2021 がオンラインで開催されました。本記事では、ACL 2021 の論文の中から、現時点での引用数や、幅広い研究や開発に役立つかどうかなど、私の主観なども混ぜながら、要チェック論文トップ10 (といいながら、合計 11 本ありますが) を選んで解説しました。なるべく幅広いタスクやプロジェクトに役立つように、特定のタスク固有のものではなく、汎用的な手法のものを優先的に選んでいます。
Free Post 機械学習 知覚信号を前処理ナシで高速に処理！話題のモデル Perceiver IO を完全解説【論文速報】 最近、DeepMind から発表された「Perceiver (パーシーバー)」と、それを入出力に適用した「Perceiver IO」が、機械学習界隈で話題となっています。複数のモダリティの知覚信号を前処理ナシで高速に処理でき、様々なタスクで高い性能を達成しているこれらのモデル、本記事では、この Perceiver と、それを入出力に適用した「Perceiver IO」を、速報的に詳しく解説します。
Free Post 自然言語処理 NLP の最後の砦「分かち書き」を自動で学習！最新モデル Charformer を解説【論文速報】 多くの自然言語処理タスクで、いまだに独立のステップとして実行される「分かち書き」。これを、End-to-End で自動で学習し、文字・バイト単位の入力から直接、高品質な事前学習を実現する Charformer という手法が発表され話題になっています。「NLP の最後の砦」とも言える分かち書きの処理まで「ニューラル化」される重要なマイルストーンであると言えます。発表されてから2週間ほど時間が経ってしまいましたが、論文速報として紹介したいと思います。
Free Post 機械学習 GitHub の コード自動生成 AI「Copilot」の技術詳細を解説 【論文解説】 高性能なコードをコメント等から生成・補完してくれる GitHub Copilot。２週間ほど前にリリースされてから、ネット上にて何かと話題になりました。今週、GitHub Copilot を支える大規模言語モデルである 「Codex」の技術詳細に関する論文が OpenAI から発表されましたので、速報的に解説してみたいと思います。なお、この論文で記述されている Codex のプロダクション版が、GitHub Copilot の裏側で動いているとのことです。
Free Post 機械学習 ACL 2021 ベストペーパーを完全解説 今度こそ分かる最適輸送×機械学習の応用 近年、機械学習への応用が進んでいる重要なトピックである「最適輸送」 (optimal transport) ですが、ついに ACL 2021 のベストペーパーに最適輸送を使った論文が選ばれました。本記事では、最適輸送の基礎から機械学習への応用を、ACL 2021ベストペーパーを含めて解説しました。
Free Post 機械学習 無料で使える最強の言語モデル GPT-3 のオープン版 GPT-J とその使い方 「現時点で使える最強のオープンソース言語モデル」と言っても過言ではない GPT-3 のオープン版「GPT-J」が先日リリースされました。無料でこの性能、OpenAI API に課金するかどうかも考え直すレベルです。本記事では、関連モデル・技術に加え、GPT-J とその使い方を紹介しました。
