OpenAI から対話に最適化した最新の言語モデルである ChatGPT が発表され、大きな話題となっています。その中でも、人間による評価と強化学習の技術を使い、言語モデルを人間の指示・嗜好にアラインメントさせる「人間によるフィードバックを用いた強化学習 Reinforcement Learning from Human Feedback (RLHF)」が重要な役割を果たしていると考えられ、注目が集まっています。本記事では、この RLHF の技術を関連論文と共に解説します。

急速に研究開発の進む大規模言語モデル分野ですが、「これまでの言語モデルの訓練方法は最適ではなかった」という研究結果が発表され、より少ない計算量で高い性能を上げる言語モデルが開発されています。本記事では、言語モデルのスケール則および指示チューニングなど、言語モデルの性能を最大限に発揮する訓練・チューニング法に関して、重要な論文をピックアップして最新の研究結果を解説します。

画像生成における成功を受け、テキスト生成にも拡散モデルの応用が急速に進んでいます。従来の GPT のような単方向的な生成の問題点を解決するデコーディング手法も様々なものが開発・実装されています。本記事では、ごく最近発表された多くのテキスト生成・デコーディング手法とトレンドを解説しました。

近年、単語をベクトル表現する埋め込み技術が広く用いられていますが、単語を「点」でしか表現できず、概念の広がりや階層関係を表現できないという問題がありました。そこで、データを「箱」などの領域によって表現する埋め込み手法が研究されています。本記事では、データを箱として表現し、ベクトルよりも強力な埋め込みを学習する「Box Embedding」について基礎から丁寧に解説します。