コンピュータービジョン

最近、拡散モデルに基づいたテキスト条件付き画像生成 (text2image) が大きな注目を集めています。これらの手法では、プロンプト (呪文) で大まかに自分の意図を反映できますが、細かな意図・情報・構成等に基づいて画像を制御するのは至難の業です。ごく最近、ControlNet などをはじめとし、意味領域、輪郭線、人間の関節情報などを使って画像生成を詳細に制御する研究が複数、同時に発表されています。本記事では、テキスト以外の情報によって画像生成をコントロールする最新手法を３種類解説します。

近年では、拡散モデルに基づく画像生成モデルが普及していますが、逐次的であるため生成に時間がかかるという問題があります。最近、Google Research から発表された画像生成モデル Muse が、近年勢いのある拡散モデルの生成品質を超えたと話題になりました。Muse ではBERT や MAE のようなマスク言語モデル的に画像トークンを生成して高品質・高速な画像生成を実現します。本記事では、この Muse の技術詳細を、その基礎である VQGAN、MAE などもおさらいしながら解説します。

コンピュータービジョンで高い性能を上げているビジョン・トランスフォーマー (ViT) ですが、計算量が多いという問題があります。そこで最近、ViT の「視野」の取り方を工夫することにより計算量を削減する手法がいくつか提案されました。また、トランスフォーマーの自己注意機構は本当に必要なのか、トランスフォーマー系モデルを「MetaFormer」として一般化して比較検討した最近の傾向についても少し触れます。

最近何かと話題の「テキスト→画像生成 (text2image)」を発展させ、テキストからの動画生成を実現した「テキスト→動画生成 (text2video)」に関する論文が、Google や Meta から 9 月末から 10 月初頭にかけて立て続けに発表されました。本記事では、それら最新手法の違いに注目しながら、技術をまとめて解説します。

登場してから何かと世間を賑わせている Stable Diffusion。技術的には、過去２年間ほどで研究開発が急速に進んだ「拡散モデル」の応用ですが、どの論文をどのような順番で読んだら良いか困ってしまう方も多いのではないでしょうか。本記事では、この Stable Diffusion の背景となる技術を基礎から理解したい方向けの、必読論文のリストとその概要を紹介します。

テキストの記述にしたがって高品質な画像を生成する「画像生成 AI」。最近、一般向けのサービスも多く登場し、普及が急速に進んでいますが、指示をテキストで書かなければならず、編集が難しいなどの問題があります。最近の論文では、言語に加えて「物体」「概念」を使って画像を生成したり、プロンプトを使って画像の細かな編集を可能にしたりと、生成される画像の質に加え、その「制御性」に改善を加える方向にシフトしつつある印象です。本記事では、この「テキストからの画像生成」技術に関して、次の発展フロンティアとなる技術を、比較的最近発表された論文から読み解きます。

トランスフォーマーを画像分類タスクに適用したビジョン・トランスフォーマー (ViT) は、2020年に提案されて以来、その強力な性能から、画像分類だけでなく、物体検出や領域分割、ビデオの分析など、幅広いコンピューター・ビジョンのタスクで使われています。一方で、大量の事前学習データを必要としたり、データ拡張・正則化を工夫する必要があったりと、訓練にコツが必要でした。発表から２年ほど経ち、「どのように訓練すれば、ViT の性能を最大限発揮できるか」という知見が論文などで発表されてきています。本記事では、比較的新しい論文から、「ViT の性能向上 Tips」に注目し、まとめてみたいと思います。

Google から、自己回帰的トランスフォーマーによってテキストからの画像生成を実現する Parti が発表されました。拡散モデルなどを使っていないシンプルなモデルにもかかわらず、スケール性によってこれまでで最高の生成品質を実現しています。本記事では、この Parti を、技術的な詳細から多手法との比較まで、詳しく解説していきます。

5 月末に Google から、テキストに忠実かつ非常に写実的な画像を生成できる Imagen が発表されました。最近発表された DALL·E 2 に続き、テキストをもとに画像を生成する「テキスト→画像 (text-to-image)」タスクが急速に発展しています。本記事では、Imagen に採用されている技術の解説を丁寧に紐解いていきます。