自然言語処理

A collection of 73 posts

2023 年注目トレンドの一つ!ツール拡張言語モデルの最前線
Free Post
自然言語処理

2023 年注目トレンドの一つ!ツール拡張言語モデルの最前線

近年急速に能力を高めている言語モデルですが、事実のでっち上げがあったり最新の出来事に対応できなかったりとまだ課題もあります。これらに対処するため、検索エンジンなどのツールを使えるように言語モデルを拡張する研究が最近注目を集めています。その潜在的な影響力の大きさから、多くの研究者やエンジニアがこの分野に参入し始めています。そのため、ツール拡張された言語モデルは 2023 年の大きな注目技術の一つとなることが予想されます。そこで、本記事ではツール使用に関連する研究のうちいくつかをご紹介します。

最新・最高性能の大規模言語モデルGPT-4は果たして「AI研究」なのか
Free Post
自然言語処理

最新・最高性能の大規模言語モデルGPT-4は果たして「AI研究」なのか

先週、OpenAI から最新の大規模言語モデル GPT-4 が発表されました。現時点で性能レベルで最高と考えられる GPT-4 では、知能試験で人間を上回る成績を残し、学術系のベンチマークにおいてもこれまで発表された言語モデルを大きく上回る SOTA を更新しています。一方、発表された論文内には、モデルのスケール、訓練データや計算量についての情報が全く無く、「これはアカデミックの論文ではなく、単なるプロダクト宣伝である」という批判もコミュニティ上で続出しています。本記事では、この GPT-4 について、テクニカル・レポートを読み解き、分かる範囲でその技術を解説したいと思います。

埋め込みで論理演算!データを確率分布で表す確率埋め込みの最前線
Free Post
自然言語処理

埋め込みで論理演算!データを確率分布で表す確率埋め込みの最前線

データを「点」ではなく「確率分布」として埋め込む「確率埋め込み」の研究が盛んに行われており、複雑な論理演算を実現できる埋め込み表現として注目が集まっています。本記事では、ガウス分布・ベータ分布・ガンマ分布を用いた確率埋め込みの最新研究を厳選して解説します。

現時点で最高性能・高効率のオープン大規模言語モデル LLaMA を解説
Free Post
自然言語処理

現時点で最高性能・高効率のオープン大規模言語モデル LLaMA を解説

先々週、Meta AI が大規模言語モデル LLaMA (ラマ) を公開しました。大規模言語モデルを構築する最新のテクニックを活用し、OPT や BLOOM などのオープンなモデルはもちろん、GPT-3 や PaLM のようなクローズドなモデルに比べても、多くのタスク・ベンチマークにて優位な性能を達成しています。コードおよびモデルとも研究用のオープンソースとして公開されており、これまでのオープン大規模言語モデルの中では最もインパクトの強いものであると言えそうです。本記事では、この大規模言語モデル LLaMA の学習法や性能などを詳細に解説します。

ChatGPT研究の最前線!性能評価とAIテキスト自動検出論文のまとめ
Free Post
自然言語処理

ChatGPT研究の最前線!性能評価とAIテキスト自動検出論文のまとめ

最近大きな話題になっている ChatGPT。専門的なタスクであっても高品質な回答を出力できますが、その「回答」は定量的にどの程度正しいのでしょうか。また、大学のエッセイやレポートなどの「代筆」やフェイクニュースの自動生成などの社会問題にもなっていますが、ChatGPT の出力した文章を自動で判別することはできるのでしょうか。この記事では、最近話題を呼んでいる ChatGPT の性能を調査した論文 4 本と、ChatGPT の出力した文章の自動検出手法に関する論文 3 本、合計 7 本解説します。

1GPUで1日だけ訓練して高性能「一夜漬け BERT」の秘訣とは
Free Post
自然言語処理

1GPUで1日だけ訓練して高性能「一夜漬け BERT」の秘訣とは

テスト (微調整) の前に、1GPU で1日だけ訓練させて高性能を達成した「一夜漬け (cramming) BERT」が話題です。BERT などの基盤モデルの事前学習には通常、強力な計算資源と長い時間がかかるものですが、本論文はそれを短縮し、個人や中小企業・研究室などでも事前学習を可能にすると期待できます。本記事では、この「一夜漬け BERT」の論文を中心に、その高速・高性能の秘訣をまとめました。

歪んだ空間の使い方: 双曲埋め込み+深層学習の主要研究まとめと最新動向
Free Post
自然言語処理

歪んだ空間の使い方: 双曲埋め込み+深層学習の主要研究まとめと最新動向

自然言語処理を中心に、データをベクトルで表現する埋め込み表現は、深層学習の基礎的な技術として盛んに研究されています。本記事では、歪んだ空間である双曲空間上のベクトルとしてデータを埋め込む手法である「双曲埋め込み (Hyperbolic Embeddings)」を紹介します。まず、双曲埋め込みの代表的な手法である Poincaré Embeddings について周辺技術から解説し、さらに双曲埋め込みの発展的・応用的な手法について解説します。そして最後に、双曲埋め込みと強化学習を組み合わせ、強化学習における状態と行動の階層関係を暗黙的に学習する最新の手法についても紹介します。

ChatGPTのコア技術RLHF(人間フィードバックによる強化学習)を解説
Free Post
自然言語処理

ChatGPTのコア技術RLHF(人間フィードバックによる強化学習)を解説

OpenAI から対話に最適化した最新の言語モデルである ChatGPT が発表され、大きな話題となっています。その中でも、人間による評価と強化学習の技術を使い、言語モデルを人間の指示・嗜好にアラインメントさせる「人間によるフィードバックを用いた強化学習 Reinforcement Learning from Human Feedback (RLHF)」が重要な役割を果たしていると考えられ、注目が集まっています。本記事では、この RLHF の技術を関連論文と共に解説します。

その訓練法は間違っていた!?進化を続ける言語モデル研究の最新動向
Free Post
自然言語処理

その訓練法は間違っていた!?進化を続ける言語モデル研究の最新動向

急速に研究開発の進む大規模言語モデル分野ですが、「これまでの言語モデルの訓練方法は最適ではなかった」という研究結果が発表され、より少ない計算量で高い性能を上げる言語モデルが開発されています。本記事では、言語モデルのスケール則および指示チューニングなど、言語モデルの性能を最大限に発揮する訓練・チューニング法に関して、重要な論文をピックアップして最新の研究結果を解説します。

拡散モデル・対照学習による高品質なテキスト生成・デコーディング手法の最前線
Free Post
自然言語処理

拡散モデル・対照学習による高品質なテキスト生成・デコーディング手法の最前線

画像生成における成功を受け、テキスト生成にも拡散モデルの応用が急速に進んでいます。従来の GPT のような単方向的な生成の問題点を解決するデコーディング手法も様々なものが開発・実装されています。本記事では、ごく最近発表された多くのテキスト生成・デコーディング手法とトレンドを解説しました。

ビジョン・自然言語における人工データからの事前学習手法の最前線
Free Post
コンピュータービジョン

ビジョン・自然言語における人工データからの事前学習手法の最前線

機械学習モデルの訓練には通常、大量のラベル付き教師データが必要になりますが、このようなデータを作るにはコストがかかり、また著作権やバイアスなどの問題もあります。そのため、実際のデータを使わず、人工データによって代替することにより、機械学習モデルの学習・事前学習を補助する「人工データからの事前学習手法」に関する研究が進んでいます。研究によっては、自然なデータセットを使った場合に匹敵する性能を上げる場合もあったということです。本記事では、ビジョン・自然言語処理における人工データからの事前学習手法をいくつかピックアップして紹介します。

ピクセルベースの NLP!「画像化テキスト」からの言語処理の最前線
Free Post
自然言語処理

ピクセルベースの NLP!「画像化テキスト」からの言語処理の最前線

最近になって、テキストを画像としてレンダリングしたものを入力として言語処理する「画像化テキスト」に関する研究が進んでいます。文字を「見た目」にしたがって処理するため、未知文字や未知語が原理的に出現せず、かつ、これまで見たことのない単語・文字・言語であっても、形から音や意味などを推測できるという利点があります。本記事では、この「画像化テキスト」を処理する手法を、最近発表されたものも含めて紹介します。

単語を箱で表現!新たな埋め込み手法 Box Embedding を基礎から理解
Free Post
自然言語処理

単語を箱で表現!新たな埋め込み手法 Box Embedding を基礎から理解

近年、単語をベクトル表現する埋め込み技術が広く用いられていますが、単語を「点」でしか表現できず、概念の広がりや階層関係を表現できないという問題がありました。そこで、データを「箱」などの領域によって表現する埋め込み手法が研究されています。本記事では、データを箱として表現し、ベクトルよりも強力な埋め込みを学習する「Box Embedding」について基礎から丁寧に解説します。

GPT-3 レベルが無料!オープンな大規模言語モデル開発の最新動向
Free Post
自然言語処理

GPT-3 レベルが無料!オープンな大規模言語モデル開発の最新動向

最近になって、オープンなライセンスで利用できる「GPT-3 レベル」の大規模言語モデルが次々と公開されています。これまでは、モデルが公開されなかったり、有料 API でしか利用できなかったりという場合が多かったのですが、今後、言語モデルの研究・利用の敷居がずっと下がりそうです。本記事では、最近の大規模言語モデル開発の動向をまとめました。

You've successfully subscribed to ステート・オブ・AI ガイド
Great! Next, complete checkout for full access to ステート・オブ・AI ガイド
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.
Success! Your billing info is updated.
Billing info update failed.