Free Post 機械学習 最強のトランスフォーマー現る？トップ会議 ICLR 2021 から見る深層学習の最先端 深層学習のトップ会議として名高い会議 ICLR 2021 が先週オンラインで開催され、重要なモデル・手法が数多く発表されました。今回はその中でも「最強のトランスフォーマーモデルを探す」というテーマで、関連する論文を掘り下げてみたいと思います。
Free Post 機械学習 深層学習モデルの訓練を爆速化・スケール化するライブラリ DeepSpeed がすごい 深層学習の訓練をスケール化・爆速にするライブラリ DeepSpeed。昨年あたりから徐々にその名前を聞くようになりましたが、日本語ではほとんど情報がありません。本記事では、DeepSpeed と、その核となる最適化手法 ZeRO に注目し、その手法と使い方をチュートリアルとして解説します。
Free Post 自然言語処理 画像化したテキストから直接翻訳する全く新しいニューラル機械翻訳モデルが登場【論文速報】 以前、分かち書きに頼ることなく「文字」から高品質な事前学習を実現する CANINE という手法を紹介したばかりですが、今度は、トークンどころか「文字」という概念も使わない新しい形の機械翻訳モデルが登場しました。ジョンズ・ホプキンズ大学の研究者によって提案された、テキストを画像化してここから直接翻訳するこのモデル、「自然言語処理」と「画像処理」の境界を曖昧にしてしまう非常に興味深いものですので、論文速報として紹介したいと思います。
Free Post コンピュータービジョン GPT がついにビデオにも進出 深層学習を使ったビデオ生成・認識研究の最先端 コンテンツ生成、予測 (自動運転、気象予報)、強化学習など、現実世界において様々な応用のあるビデオ生成・認識。トランスフォーマーや GPT が他ドメインで成功を収める中、ビデオ分野にもこの「トランスフォーマーの波」が押し寄せています。この記事では、このビデオ生成・認識分野における最近の研究動向をまとめてみたいと思います。
Free Post 自然言語処理 BERTとトランスフォーマーはこう使え 「効果的な訓練・微調整のコツ」総まとめ BERTやトランスフォーマーを使った自然言語処理が普及していますが、これらのモデルを効果的に訓練・微調整をするためには未だに「職人芸」的なテクニックが必要となります。「これを知っているだけで BERT とトランスフォーマーの訓練・微調整が劇的に安定・改善する」という手法を比較・検討した論文が最近になっていくつか出てきましたので、まとめて解説したいと思います。
Free Post 機械学習 全く新しい生成モデル 勾配ベクトル場とスコアマッチングによる画像・音声生成を解説 データの密度勾配をモデル化しそこからサンプルを生成する「スコアベース手法」。理論的にも興味深く、高品質の画像や音声を生成できることもあり、機械学習業界で盛り上がりを見せていますが、日本語での情報がほとんど無いのがネックになっています。この記事では、スコアベースの生成モデルの基礎と、画像と音声に応用した比較的新しい論文をまとめて解説します。
Free Post 自然言語処理 機械翻訳のパラダイムが変わる！？非自己回帰的なテキスト生成・機械翻訳の最前線 単語を並列かつ高速に生成することのできる「非自己回帰的」なテキスト生成・機械翻訳手法が、2018年ごろから盛んに研究されています。最近になって、従来の自己回帰的なモデルに比べて大幅に高速でありながら、翻訳精度で匹敵するような手法も出現し始めました。本記事では、ごく最近の研究成果も含めた、「非自己回帰的 (non-autoregressive)」なテキスト生成・機械翻訳の研究トレンドを紹介します。
Free Post 機械学習 シンプルかつ効果的！深層学習で復活した「自己学習」の最新研究トレンド モデル自身を使ってラベル無しデータに「疑似正解」を付与、そこから新たなモデルを学習する「自己学習」 (self-training)。近年の深層学習技術の発展に伴って、その有効性を示す研究が画像・言語・音声の全分野で数多く発表されています。本記事では、その「自己学習」の最新の研究トレンドをいくつか紹介したいと思います。
Free Post コンピュータービジョン GANを超えた！？画像・音声の「可変レート」表現学習手法が未来すぎる 意味の密度に応じて、潜在表現の情報量を変化させる「可変レート離散表現」に関する論文が、最近 DeepMind によって立て続けに発表されました。非常に実用的かつ学術的にも興味深い研究だと思いますので、以下で、画像・音声に対する可変レートの潜在表現学習手法をそれぞれ紹介します。
Free Post 機械学習 トランスフォーマーが汎用計算エンジンになる？凍結事前学習トランスフォーマーの驚異的な汎化能力 言語・ビジョン・音声など、様々な分野で大きな成果を上げているトランスフォーマー。言語のみで事前学習されたトランスフォーマーのごく一部を微調整するだけで、画像認識などで驚異的な汎化能力を示すことが分かってきました。本記事では、近年のトランスフォーマーの転移学習・マルチタスク学習に関する論文をいくつか紹介しながら、トレンドを追ってみたいと思います。
Free Post 自然言語処理 日本語処理にも革命！？分かち書きをせず高品質な事前学習を実現する CANINE がすごい 【論文速報】 自然言語処理において避けては通れない前処理である「分かち書き」を全くすることなしに、高品質な事前学習言語モデルを訓練する CANINE (ケイナイン) という手法に関する論文が発表されました。「これからの日本語処理のやり方を根本的に変えてしまうかもしれない」とあまりに衝撃を受けたので、論文速報として解説したいと思います。
Free Post 自然言語処理 人気急上昇中！自然言語処理における対照学習の最前線 データの類似・非類似関係を使って自己学習する手法である対照学習。画像認識などの分野において近年急速に応用が進んでいますが、自然言語処理における応用も、ここ１〜２年で活発に研究されています。本記事では、ごく最近提案された主な対照学習＋自然言語処理の手法を取り上げて解説します。
Free Post コンピュータービジョン 【論文速報】OpenAI の超高クオリティ画像生成モデル DALL·E の論文を解説 今年2021年1月に、OpenAI から発表された画像生成モデルである「DALL·E (ダリー)」。先日、その技術的詳細を解説した論文が発表されたのにあわせ、本記事では、CLIP などの関連研究などを紹介し、その技術・モデル等の詳細について速報的に解説してみたいと思います。
Free Post コンピュータービジョン 【論文速報】ついにトランスフォーマーにライバル出現！？次世代の注意機構「ラムダネットワーク」を解説 先週、「ラムダネットワーク」と呼ばれる「次世代の注意機構」とも言える変換機構を持つネットワークが発表されました。注意の重みを計算することなく、効率的に入力を出力に変換できることもあり、各所で話題になっています。本記事では、速報的に、この「ラムダネットワーク」の論文を解説してみたいと思います（今週は２本立てです）。
Free Post 機械学習 人工生命と人工知能の融合 ニューラル・セル・オートマトンを使った機械学習の最前線 ここ１〜２年ほどで、連続値の状態を持ち、微分可能なニューラルネットワークによって状態を更新する「ニューラル・セル・オートマトン (NCA)」に関する研究が進んでいます。生物の成長をシミュレーションしたり、分類・セグメンテーションなど基礎的な機械学習タスクを解くことができるなど非常に興味深い成果が多く出ており、個人的に注目している分野です。この記事では、最近のセル・オートマトン＋機械学習の手法をいくつか紹介しながら、人工生命と人工知能の分野の融合を垣間見てみたいと思います。
