自然言語処理

BERTやトランスフォーマーを使った自然言語処理が普及していますが、これらのモデルを効果的に訓練・微調整をするためには未だに「職人芸」的なテクニックが必要となります。「これを知っているだけで BERT とトランスフォーマーの訓練・微調整が劇的に安定・改善する」という手法を比較・検討した論文が最近になっていくつか出てきましたので、まとめて解説したいと思います。

単語を並列かつ高速に生成することのできる「非自己回帰的」なテキスト生成・機械翻訳手法が、2018年ごろから盛んに研究されています。最近になって、従来の自己回帰的なモデルに比べて大幅に高速でありながら、翻訳精度で匹敵するような手法も出現し始めました。本記事では、ごく最近の研究成果も含めた、「非自己回帰的 (non-autoregressive)」なテキスト生成・機械翻訳の研究トレンドを紹介します。

自然言語処理において避けては通れない前処理である「分かち書き」を全くすることなしに、高品質な事前学習言語モデルを訓練する CANINE (ケイナイン) という手法に関する論文が発表されました。「これからの日本語処理のやり方を根本的に変えてしまうかもしれない」とあまりに衝撃を受けたので、論文速報として解説したいと思います。

2021年1月に発表された「スイッチ・トランスフォーマー」の論文、「ついにパラメータが1兆個超え」ということで話題になったのが記憶に新しいかもしれません。本記事では、そのスイッチ・トランスフォーマーの論文を、前身となった混合エキスパート (MoE) モデルにさかのぼって解説したいと思います。

昨年の5月に、低リソース自然言語処理ブートキャンプが開催されました。カーネギーメロン大の一線の研究者による、低リソース自然言語処理のチュートリアルと、実際のデータセットやライブラリを使った演習が盛りだくさん。本記事では、講演をまとめ訳と共に紹介します。

日本語で、BERT などの事前学習モデルを使った自然言語処理タスクを解く機会が増えてきました。しかし、BERT だけでも、様々な研究機関・企業が、訓練データ、サイズ、分かち書きの方法等の異なる様々なバージョンを公開しており、「どれをどう使ったら良いかよく分からない」という方も多いのではないでしょうか。この記事では、2021年1月の現段階で公開されている様々な BERT のモデルのタスク性能を比較し、現時点でのオススメについて紹介してみたいと思います。

近年、知識をモデルのパラメーターとして全て表現するのではなく、何らかの外部知識として表現して利用する「ノンパラメトリック」手法がさかんに研究されています。これらの手法は「検索ベース」手法とも呼ばれており、外部知識から関連する文を検索したり、書き換えたりすることによって、パラメトリックなモデルの欠点を補うことができます。本記事では、これらノンパラメトリックな言語モデルに関する最近の手法のうち、メジャーなものをいくつかピックアップして紹介します。

近年では、深層学習モデルを使って自然言語処理タスクを解く機会が増えていますが、モデルを開発・実装する方法にはさまざまなものがあります。機械学習モデルの開発には試行錯誤が必要となるので、どのフレームワークを使って実験を進めていくのかは大切な要素の一つです。本記事では、2020年の現在において、BERT のような事前学習モデルを使った深層自然言語処理の研究開発において、ベストプラクティスであると思われるフレームワーク、手法をコード例と共に紹介していきます。

先週、自然言語処理分野のトップ会議のひとつである EMNLP 2020 がオンラインで開催されました。近年の AI/ML 系の学会の例に漏れず、本会議だけで 700本以上の論文が採択され、とても全部をチェックできる量ではありません。本記事では、EMNLP 2020 の中から、ベストペーパーとその佳作賞、重要な講演や論文などを厳選して紹介します。

深層学習を用いた自然言語処理では、テキストを「サブワード」と呼ばれる単語よりも短い単位に分割する手法が頻繁に用いられます。本記事では、WordPiece, Byte-pair encoding (BPE), SentencePiece など、数多くあるサブワード分割の手法・ソフトウェアを取り上げ、それぞれの特徴や違いなどを解説します。