萩原 正人

自然言語文を、その意味等を考慮しながら固定長のベクトルによって表す文埋め込みモデルは、テキスト分類、テキストマイニング、自然言語推論など、様々なタスクで使用される重要な技術です。本記事では、マルチリンガル文埋め込みの最新モデル (USE, LASER, LaBSE) を、関連する論文を紹介しながら追ってみたいと思います。

系列変換 (Seq2Seq) モデルは、翻訳のみならず、要約や対話の応答生成などの幅広い自然言語処理タスクにおいて使われている非常に重要なモデルです。近年の BERT のような事前学習モデルと転移学習の成功を受け、系列変換モデルに対してもさまざまな事前学習モデルが提案されています。本記事では、これまで提案された重要なモデル・論文を紹介し、今後のトレンドについて考えてみたいと思います。

近年、自然言語処理の分野では、強力なシステムやモデルが提案され、様々なタスクにおいて人間の精度に迫るものも出てきました。しかし、これらの進歩のほとんどは、英語や中国語など、資源が豊富にある言語を対象にしています。本記事では、英語だけを対象にして自然言語処理の研究開発をするのがなぜ問題なのか、について、関連文献などを紹介しながら追ってみたいと思います。

先月7月に、自然言語処理の教育応用に関する最先端の研究が発表されるワークショップ BEA 2020 が国際会議 ACL 2020 の併設ワークショップとして開催されました。この分野は、産業界からのニーズも高く、毎年国際会議の本会議やワークショップ等で多数の論文が発表される進歩の速い分野です。本記事では、ACL 2020 および BEA 2020 において発表された研究をベースに、自然言語処理の教育応用における最新の研究トレンドを追ってみたいと思います。

Open AI によって開発された超巨大言語モデル「GPT-3」が ベータ版として公開されて以来、世間を賑わせています。ここ最近では、リリース時の騒動もだいぶ収まって、「とにかくすごい」系の過熱気味の反応も、冷静な分析なども含め情報が一通り収まった感があります。GPT-3 の「すごさ」については、これまでにも様々なところで語られつくされているので、本記事では、「これまでの言語モデルと何が違うのか」という点にフォーカスして、その特徴について解説してみたいと思います。

初のオンライン開催となった自然言語処理のトップ会議 ACL 2020 ですが、今回も示唆に富んだ多くの論文がベストペーパーおよび佳作として選ばれました。いずれも非常に興味深く、自然言語処理の最新トレンドを理解する上で読んでおいたほうが良いものばかりなのですが、何しろボリュームがあり、全てを読んで理解するのは大変です。この記事では、ベストペーパーに輝いた論文を中心に、佳作、テーマ・ペーパー、デモ・ペーパーも含めた論文も簡単に解説します。

7/6〜7/10 にかけて、自然言語処理分野のトップ会議である ACL 2020 が開催されました。合計で 779本の論文が採択され、かつ、チュートリアルや併設ワークショップ等も多数開催されたため、スキマ時間にビデオを効率良く見ても、とても全てチェックできるような量ではありません。本記事では、ACL 2020 に参加して研究をチェックして分かった「自然言語処理の最新トレンド」を解説したいと思います。