Free Post 自然言語処理 最新の機械翻訳技術の総集編！Googleが1,000言語を訳せる秘密とは 機械翻訳がまだ対応できない「次の 1,000 言語」を翻訳できるニューラル機械翻訳システムを構築するには？最近 Google から発表された論文では、超多言語モデリングと近年のニューラル機械翻訳の技術を駆使し、グーグル翻訳に低資源言語を追加するプロセスが詳細に解説されています。近年の深層機械翻訳に関する有用なテクニックの総集編としても読め、機械翻訳に関わる人以外にもオススメです。
Free Post 機械学習 単純かつ効果的！訓練順序を工夫する「カリキュラム学習」とNLP応用 人間が学習するように、難易度に応じてデータを提示する順序を工夫する「カリキュラム学習」、シンプルかつ効果的な方法として研究が進んでいます。本記事では、カリキュラム学習の基礎をおさらいした後、自然言語処理における代表的な応用例 (機械翻訳、音声翻訳、自然言語理解、チャットボット) を幅広く紹介・解説します。
Free Post 自然言語処理 自然言語処理トップ会議 ACL 2022 から厳選！要チェック論文まとめ 先週 (5月22日〜27日)、自然言語処理のトップ会議である ACL 2022 がオンラインおよび対面のハイブリッド形式で開催されました。本記事では、ACL 2022 の論文の中から、現時点での引用数や、幅広い研究や開発に役立つかどうかなど、私の主観なども混ぜながら、要チェック論文を選んで解説しました。
Free Post 機械学習 深層学習トップ会議 ICLR 2022 の要注目論文まとめ【NLP/ML一般編】 先月末、「深層学習のトップ会議」とも言える ICLR 2022 がオンライン上で開催されました。本ブログでは、全 1,095 本の採択論文の中から要チェック論文を厳選し、２週間に分けて紹介します。今週は 自然言語処理 (NLP) と機械学習全般に関する論文です。いずれの論文も、新しい概念を提案する挑戦的なものや、実務に使える実用的なものを中心に厳選しました。
Free Post 自然言語処理 ついに出た！Googleによる最強・最大の言語モデル PaLM を解説【論文速報】 Google から、超大規模言語モデル PaLM (「パーム」、Pathways Language Model) が発表されました。パラメータ数 540B (5400億) の本モデル、現段階で「最強・最大の言語モデル」と言っても過言ではなく、言語理解、コーディングタスク、多言語タスクなど、様々な分野で最高性能 (SOTA) を軒並み達成しています。本論文、付録 (appendix) を除いた論文の本体だけで 62 ページもある大作なので読むのも大変なのですが、本記事では、その中でも重要な要点をかいつまんで紹介します。
Free Post 自然言語処理 NLPでトランスフォーマーを超えた！？ 多層パーセプトロン研究の最前線 昨年から活発に研究されている多層パーセプトロン (MLP) モデル。自然言語処理 (NLP) の分野ではあまり性能が振るいませんでしたが、最近になって、NLP タスクでも「トランスフォーマー超え」を達成するモデルが立て続けに発表されています。本記事では、最近発表された期待の MLP モデル、HyperMixer と sMLP を解説します。
Free Post 機械学習 1,000層超えも！超深層トランスフォーマーを実現した DeepNet を解説【論文速報】 トランスフォーマーは非常に強力なモデルですが、レイヤーの数を増やしていくと訓練が不安定になることが知られています。最近、トランスフォーマーの訓練を安定させ、1,000層にも及ぶ「超深層トランスフォーマー」を訓練できる DeepNet が Microsoft Research から提案され、機械翻訳において目覚ましい成果を上げ話題になっています。本記事では、DeepNet とその正規化手法である DeepNorm を、論文速報として解説します。
Free Post 自然言語処理 進化を続ける大規模言語モデルの最前線 (LaMDA, GPT-NeoX-20B, XGLM) 前回、本ブログにおいて超巨大言語モデルについて取り上げてから数ヶ月しか経っていませんが、大規模言語モデル分野では興味深い研究・モデルが次々と発表されています。特に、GPT-NeoX-20B など、訓練データ・コード・モデルなど、すべてオープンソースで利用できる言語モデルがいくつか発表されています。本記事では、最近のこれらの大規模言語モデルの傾向を紹介します。
Free Post 自然言語処理 NLP における分かち書き最適化・分かち書きフリー手法の総まとめ 自然言語処理分野では、最近、入力を文字・バイト・ピクセル単位でそのまま処理する「分かち書きフリー」の手法が多数出現しています。また、トークン単位に分割する分かち書きを対象タスクと合わせて最適化する手法に関する研究も進んでいます。本記事では、これら「分かち書きフリー」「分かち書き最適化」の手法に注目し、最近の動向を解説しました。
Free Post 自然言語処理 穴埋め言語モデルを「内閣■■大臣」のような簡単な練習問題で甘やかさないコツ【じっくり1本】 マスク言語モデルは、黒塗りしたテキストを復元するという練習問題を何億問も解くことで汎用のテキストエンコーダに成長します。ところが練習問題の中には文全体を見なくても解けてしまう簡単なものがたくさん含まれています。今回紹介する ICLR 2021 の論文では、これらの簡単すぎる問題を難しい問題に差し替えると言語モデルの品質が向上する… という面白い話が示されています。前提知識の説明からじっくり1本ご紹介します。
Free Post 自然言語処理 GPT-3超えが続々と登場 発展を続ける超巨大言語モデルの最先端 GPT-3 が発表されて既に１年以上、「GPT-3 超え」を達成する超巨大言語モデルがその後も次々と発表されています。本記事では、最近 DeepMind から発表された Gopher / RETRO をはじめ、最近発表され「GPT-3 超え」を達成した数々の大規模言語モデルを解説しました。
Free Post 自然言語処理 トップ会議 EMNLP 2021 から学ぶ 文埋め込み・言語モデル研究の最前線 3週間ほど前に、自然言語処理分野のトップ会議のひとつである EMNLP 2021 がオンライン・オフラインのハイブリッド形式で開催されました。新しく強力な文埋め込みモデルや、トランスフォーマー・モデルの新たな解釈・変更の検証など、興味深く実用的な研究が多数発表されています。本記事では、EMNLP 2021 において発表された論文から厳選した注目論文を分かりやすく解説します。
Free Post 自然言語処理 GPT-3 のみから機械翻訳モデルを訓練！？機械翻訳研究の最新動向 GPT-3 だけを使い、教師無しで機械翻訳モデルを訓練したり、100言語を英語を介さずに相互に翻訳できるモデルを訓練したりと、ここ最近、機械翻訳の分野でも非常に興味深い研究が続々と発表されています。本記事では、多言語翻訳・教師無し翻訳・機械翻訳のスケール性、に注目した最新の研究動向をいくつかピックアップして解説します。
Free Post 自然言語処理 これだけ人間に近づいた チャットボット・対話 AI 研究の最前線 最近も「エアフレンド」がネット上で話題になるなど、話題に事欠かないチャットボットや対話 AI。深層学習のモデルの発展に伴い、人間に近い自然な対話ができるモデルが次々に開発され、最近では、「共感」や「記憶」など、より人間らしい要素にフォーカスしたシステムも出現しています。本記事では、自由会話型のチャットボット・対話 AI について、主要な研究をたどりながら最新の動向まで解説します。
Free Post 自然言語処理 最新研究から学ぶ 言語モデルの性能を向上させる5つの簡単なトリック 最近になって、言語モデルの性能を向上させる最新の研究が立て続けに発表されています。いずれも、比較的簡単な工夫で、トランスフォーマー・ベースの言語モデルの性能を改善したり、訓練を効率化したりといったことを可能にするものが多く、「GPT-3 超え」を達成したものもあれば、我々の日々の業務にも応用できそうなアイデアも多くあります。本記事では、最近の「言語モデルの性能向上テクニック」に関する文献をまとめて紹介します。
