自然言語処理

A collection of 33 posts

無料で使える最強の言語モデル GPT-3 のオープン版 GPT-J とその使い方
Free Post
機械学習

無料で使える最強の言語モデル GPT-3 のオープン版 GPT-J とその使い方

「現時点で使える最強のオープンソース言語モデル」と言っても過言ではない GPT-3 のオープン版「GPT-J」が先日リリースされました。無料でこの性能、OpenAI API に課金するかどうかも考え直すレベルです。本記事では、関連モデル・技術に加え、GPT-J とその使い方を紹介しました。

言語モデルを高性能化する「プロンプト」技術とは  NAACL 2021 主要論文まとめ
Free Post
自然言語処理

言語モデルを高性能化する「プロンプト」技術とは NAACL 2021 主要論文まとめ

GPT-3 などの強力な言語モデルが普及するに従い、訓練済み言語モデルの性能を最大限引き出すため「プロンプト」を活用する技術に関する研究が進んでいます。今週開催された自然言語処理トップ会議の一つ NAACL 2021 では、このプロンプト技術に関する論文が3本もベストペーパー入りするなど、大きなトレンドとなっているのを感じます。本記事では、NAACL 2021 の主要な論文を紹介しながら、この「プロンプト」技術のトレンドを紹介します。

多層パーセプトロン (MLP) 時代の到来と、トランスフォーマーの終焉
Free Post
コンピュータービジョン

多層パーセプトロン (MLP) 時代の到来と、トランスフォーマーの終焉

Google Brain から先週発表された多層パーセプトロン (MLP) にゲート機構を組み合わせた「gMLP」が、業界に衝撃を与えています。画像認識と BERT 的言語モデルにおいてトランスフォーマーに匹敵する性能を叩き出したからです。この記事では、この 「gMLP」の解説を中心として、関連する MLP 系の手法に少し触れ、「今後トランスフォーマーはどうなるのか」について考察してみたいと思います。

自然言語のためのデータ拡張手法まとめ【2021年最新版】
Free Post
自然言語処理

自然言語のためのデータ拡張手法まとめ【2021年最新版】

自然言語テキストに対しては、画像のように、簡単にデータ拡張ができません。そこで、これまで、自然言語のテキストに様々な操作を適用し、訓練データを人工的に増やす「自然言語のためのデータ拡張」に関する様々な手法が研究されてきました。本記事では、2021年最新の研究も含め、自然言語に対するデータ拡張手法をまとめてみたいと思います。

画像化したテキストから直接翻訳する全く新しいニューラル機械翻訳モデルが登場【論文速報】
Free Post
自然言語処理

画像化したテキストから直接翻訳する全く新しいニューラル機械翻訳モデルが登場【論文速報】

以前、分かち書きに頼ることなく「文字」から高品質な事前学習を実現する CANINE という手法を紹介したばかりですが、今度は、トークンどころか「文字」という概念も使わない新しい形の機械翻訳モデルが登場しました。ジョンズ・ホプキンズ大学の研究者によって提案された、テキストを画像化してここから直接翻訳するこのモデル、「自然言語処理」と「画像処理」の境界を曖昧にしてしまう非常に興味深いものですので、論文速報として紹介したいと思います。

BERTとトランスフォーマーはこう使え 「効果的な訓練・微調整のコツ」総まとめ
Free Post
自然言語処理

BERTとトランスフォーマーはこう使え 「効果的な訓練・微調整のコツ」総まとめ

BERTやトランスフォーマーを使った自然言語処理が普及していますが、これらのモデルを効果的に訓練・微調整をするためには未だに「職人芸」的なテクニックが必要となります。「これを知っているだけで BERT とトランスフォーマーの訓練・微調整が劇的に安定・改善する」という手法を比較・検討した論文が最近になっていくつか出てきましたので、まとめて解説したいと思います。

機械翻訳のパラダイムが変わる!?非自己回帰的なテキスト生成・機械翻訳の最前線
Free Post
自然言語処理

機械翻訳のパラダイムが変わる!?非自己回帰的なテキスト生成・機械翻訳の最前線

単語を並列かつ高速に生成することのできる「非自己回帰的」なテキスト生成・機械翻訳手法が、2018年ごろから盛んに研究されています。最近になって、従来の自己回帰的なモデルに比べて大幅に高速でありながら、翻訳精度で匹敵するような手法も出現し始めました。本記事では、ごく最近の研究成果も含めた、「非自己回帰的 (non-autoregressive)」なテキスト生成・機械翻訳の研究トレンドを紹介します。

シンプルかつ効果的!深層学習で復活した「自己学習」の最新研究トレンド
Free Post
機械学習

シンプルかつ効果的!深層学習で復活した「自己学習」の最新研究トレンド

モデル自身を使ってラベル無しデータに「疑似正解」を付与、そこから新たなモデルを学習する「自己学習」 (self-training)。近年の深層学習技術の発展に伴って、その有効性を示す研究が画像・言語・音声の全分野で数多く発表されています。本記事では、その「自己学習」の最新の研究トレンドをいくつか紹介したいと思います。

日本語処理にも革命!?分かち書きをせず高品質な事前学習を実現する CANINE がすごい 【論文速報】
Free Post
自然言語処理

日本語処理にも革命!?分かち書きをせず高品質な事前学習を実現する CANINE がすごい 【論文速報】

自然言語処理において避けては通れない前処理である「分かち書き」を全くすることなしに、高品質な事前学習言語モデルを訓練する CANINE (ケイナイン) という手法に関する論文が発表されました。「これからの日本語処理のやり方を根本的に変えてしまうかもしれない」とあまりに衝撃を受けたので、論文速報として解説したいと思います。

人気急上昇中!自然言語処理における対照学習の最前線
Free Post
自然言語処理

人気急上昇中!自然言語処理における対照学習の最前線

データの類似・非類似関係を使って自己学習する手法である対照学習。画像認識などの分野において近年急速に応用が進んでいますが、自然言語処理における応用も、ここ1〜2年で活発に研究されています。本記事では、ごく最近提案された主な対照学習+自然言語処理の手法を取り上げて解説します。

ついにパラメータ1兆個超え!スイッチ・トランスフォーマーと混合エキスパートモデルを完全解説
Free Post
自然言語処理

ついにパラメータ1兆個超え!スイッチ・トランスフォーマーと混合エキスパートモデルを完全解説

2021年1月に発表された「スイッチ・トランスフォーマー」の論文、「ついにパラメータが1兆個超え」ということで話題になったのが記憶に新しいかもしれません。本記事では、そのスイッチ・トランスフォーマーの論文を、前身となった混合エキスパート (MoE) モデルにさかのぼって解説したいと思います。

マルチリンガル自然言語処理が幅広く学べる カーネギーメロン大講義がオススメ
Free Post
自然言語処理

マルチリンガル自然言語処理が幅広く学べる カーネギーメロン大講義がオススメ

昨年の5月に、低リソース自然言語処理ブートキャンプが開催されました。カーネギーメロン大の一線の研究者による、低リソース自然言語処理のチュートリアルと、実際のデータセットやライブラリを使った演習が盛りだくさん。本記事では、講演をまとめ訳と共に紹介します。

【2021年最新版】日本語BERTを徹底比較 事前学習言語モデルのオススメはこれ
Free Post
自然言語処理

【2021年最新版】日本語BERTを徹底比較 事前学習言語モデルのオススメはこれ

日本語で、BERT などの事前学習モデルを使った自然言語処理タスクを解く機会が増えてきました。しかし、BERT だけでも、様々な研究機関・企業が、訓練データ、サイズ、分かち書きの方法等の異なる様々なバージョンを公開しており、「どれをどう使ったら良いかよく分からない」という方も多いのではないでしょうか。この記事では、2021年1月の現段階で公開されている様々な BERT のモデルのタスク性能を比較し、現時点でのオススメについて紹介してみたいと思います。

検索・書き換えに基づくノンパラメトリックな言語モデルの最前線
Free Post
自然言語処理

検索・書き換えに基づくノンパラメトリックな言語モデルの最前線

近年、知識をモデルのパラメーターとして全て表現するのではなく、何らかの外部知識として表現して利用する「ノンパラメトリック」手法がさかんに研究されています。これらの手法は「検索ベース」手法とも呼ばれており、外部知識から関連する文を検索したり、書き換えたりすることによって、パラメトリックなモデルの欠点を補うことができます。本記事では、これらノンパラメトリックな言語モデルに関する最近の手法のうち、メジャーなものをいくつかピックアップして紹介します。

説明可能な人工知能(XAI)とは?機械学習のモデルを説明・解釈する最新手法まとめ
Free Post
機械学習

説明可能な人工知能(XAI)とは?機械学習のモデルを説明・解釈する最新手法まとめ

近年、ニューラルネットワークに基づく大規模な深層学習モデルの普及によって、機械学習の様々なタスクにおいて非常に高い性能が達成されています。一方、これらのモデルは、伝統的な線形回帰や決定木などのモデルと比べて、どのような仕組みで予測が出力されているかが分かりにくい「ブラックボックス化」しているという問題があります。最近、NeurIPS、ACL などのトップ会議において、この「説明可能な人工知能」に関するチュートリアル講義が相次いで開催されました。本記事では、これらのチュートリアルから厳選した、「押さえておくべき説明・解釈手法」をいくつかご紹介します。

You've successfully subscribed to ステート・オブ・AI ガイド
Great! Next, complete checkout for full access to ステート・オブ・AI ガイド
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.
Success! Your billing info is updated.
Billing info update failed.