Free Post 機械学習 「とりあえずAdam」で本当に大丈夫？深層学習の最適化手法はこう選べ 深層学習モデルの訓練に欠かせない最適化手法（オプティマイザー）。多数の選択肢の中から適切な最適化手法をどう選ぶかについては、同僚やネット上から共有される経験則に頼っているのが現状です。本論文ではこの「最適化手法の選び方」を、体系的な実験に基づく証拠を元に調査し直し、有用なアドバイスを提供していますので、まとめて紹介したいと思います。
Free Post 機械学習 音声・画像・言語、何でもベクトル化する最新モデル data2vec を解説 Meta AI から、また非常に興味深いモデルが発表されました。音声・画像・言語を同じ仕組みで何でもベクトル化する自己教師あり学習手法 data2vec、そのシンプルさにも関わらず様々なタスクで SOTA を達成しています。本記事では、基礎となる自己教師あり学習、具体的には、マスク予測と自己蒸留手法から始め、data2vec を丁寧に解説しました。
Free Post 機械学習 今年から本気出す AI分野で良い研究コードを書くためのアドバイス集 「良い研究コードを書くためのハンドブック」と題された書籍が最近発表されました。プロジェクト構成、スタイルガイド、実験管理、オープンソースとしての公開まで、AI 分野で良い研究コードを書くためのアドバイスが満載です。本記事では、ガイドブックの内容と、関連する他の資料のアドバイスを項目ごとにまとめ、抄訳として紹介しました。
Free Post 機械学習 年末年始に振り返る 2021年の人工知能10大トレンドと必読論文 2021年も、人工知能業界では様々な動きがありました。本記事では、最新の深層学習の論文を何百本と読み解いて分かった「2021年の最重要トレンド」を詳細な参考文献と共に紹介します。
Free Post 機械学習 モデルのパッチ、マージも オープンソース的な未来の機械学習開発 T5 などの著名な貢献のある Colin Raffel 氏による、「オープンソース・ソフトウェア (OSS) 的にモデルを開発する提言」と題されたブログ記事。OSS 的に、モデルにパッチを当てたり、マージしたりといった手法を駆使し、共同でモデルが開発できるような仕組みを提案し、話題になっています。本記事では、その提言の概要と、同時に発表されたいくつかの関連研究をまとめて解説します。
Free Post 機械学習 長距離データで断トツの最高性能 状態空間系列モデル S4 を解説 これまでどんなモデルでも解けなかった系列タスク Path-X をはじめて解いて話題となっている系列モデル S4。状態空間モデルに基づき、連続時間系列・RNN・CNN 的な計算を統一的に扱えるなど、理論面・実用面の両方で非常に興味深い手法ですので、本記事で解説しました。
Free Post 機械学習 機械学習トップ会議 NeurIPS 2021 から厳選 要チェック論文まとめ 表形式データを高精度に処理する注意モデル、ニューラルネットのパラメータを一発で予測するニューラルネット、新たなデータ拡張手法、MLP など、今年も非常に興味深い研究が多数発表されています。本記事では、機械学習トップ会議 NeurIPS 2021 から厳選した要チェック論文を紹介します。
Free Post コンピュータービジョン パッチさえあればいい？画像認識・ViT において重要な要素とは【論文速報】 「パッチさえあればいい？」と題された論文が ICLR 2022 に投稿・公開され話題になっています。ConvMixer と呼ばれる画像のパッチ化と畳み込みに基づいた非常に単純なモデル、MLP や ViT と同等の性能をより少ないパラメータ数で実現しています。本記事では、ConvMixer を論文速報として解説し、画像分類において本当に重要な要素とは何か、について解説します。
Free Post 自然言語処理 GPT-3 のみから機械翻訳モデルを訓練！？機械翻訳研究の最新動向 GPT-3 だけを使い、教師無しで機械翻訳モデルを訓練したり、100言語を英語を介さずに相互に翻訳できるモデルを訓練したりと、ここ最近、機械翻訳の分野でも非常に興味深い研究が続々と発表されています。本記事では、多言語翻訳・教師無し翻訳・機械翻訳のスケール性、に注目した最新の研究動向をいくつかピックアップして解説します。
Free Post コンピュータービジョン ResNetの逆襲！最新の訓練手法で古典的モデルを強くする方法【論文速報】 コンピューター・ビジョンで最も幅広く使われていると言っても過言ではない ResNet。「ResNetの逆襲」と題されたこの論文では、最適化手法やデータ拡張・正則化など、近年提案された強力な訓練方法を使って学習すると、非常に強力な性能を発揮することが分かりました。「そもそも機械学習における進歩はどこから来るか」という示唆を与える重要な論文ですので、論文速報として紹介しました。
Free Post 機械学習 トップ研究者が語る 学生・若手AI研究者が成果を出すためのアドバイス トップの研究者が、関わった様々なプロジェクトや、そこから得られた教訓・アドバイスなどをシェアする ICCV 併設ワークショップ SSLL。広く参考になる話やアドバイスが満載でしたので、以下の記事にまとめました【無料記事】。
Free Post 自然言語処理 これだけ人間に近づいた チャットボット・対話 AI 研究の最前線 最近も「エアフレンド」がネット上で話題になるなど、話題に事欠かないチャットボットや対話 AI。深層学習のモデルの発展に伴い、人間に近い自然な対話ができるモデルが次々に開発され、最近では、「共感」や「記憶」など、より人間らしい要素にフォーカスしたシステムも出現しています。本記事では、自由会話型のチャットボット・対話 AI について、主要な研究をたどりながら最新の動向まで解説します。
Free Post 機械学習 AI開発の常識を覆す 新トレンド「データ・セントリックな AI」とは モデル中心だったこれまでのAI開発の考えに疑問を呈し、データを中心に据える「データ・セントリックな AI」が新たにトレンドとなっています。少ない開発コストで高精度なシステムを訓練できたりと、現実世界にAIを活用する際に重要になるヒントも多く、要チェックです。本記事では、このデータ・セントリック AI の基本的な考えや、関連するシステム・論文などを紹介します。
Free Post コンピュータービジョン ビジョン・トランスフォーマーはなぜCNNより強い？その仕組みを解明【論文速報】 昨年10月にビジョン・トランスフォーマー (ViT) が画像認識にて最高精度を達成して以来、コンピューター・ビジョンの分野を席巻しています。そもそも、ViT の強さはどこにあるのでしょうか？本記事では、Google Research から発表された最近の論文を論文速報として紹介しながら、CNN (ResNet) とビジョン・トランスフォーマーとの違いを探っていきます。
Free Post 機械学習 コードを数行変更するだけ PyTorch を高速化する16個の簡単テクニック 機械学習モデルの訓練には長い時間がかかるのが常ですが、PyTorch には、非常に簡単な変更によって学習や推論を高速化できるテクニックがいくつか知られています。本記事では、PyTorch の最新の機能も含め、コードを数行変更するだけで学習・推論のパフォーマンスを大きく改善できる簡単なテクニックを合計16個紹介します。
