Free Post コンピュータービジョン 人工知能の次のフロンティアとは？視覚×言語研究の最新動向 大量のテキストから事前学習した BERT や GPT-3 などの事前学習モデルに関する研究が話題ですが、人間の言語理解には、視覚・聴覚などとの相互作用、身体性・社会性が非常に重要です。この記事では、近年注目が高まっているマルチモーダル自然言語処理、特にその中でも、視覚×言語の最新の研究をいくつか取り上げ、紹介してみたいと思います。
Free Post 自然言語処理 自然言語処理トップ会議 EMNLP 2020 から厳選 重要論文・講演のまとめ 先週、自然言語処理分野のトップ会議のひとつである EMNLP 2020 がオンラインで開催されました。近年の AI/ML 系の学会の例に漏れず、本会議だけで 700本以上の論文が採択され、とても全部をチェックできる量ではありません。本記事では、EMNLP 2020 の中から、ベストペーパーとその佳作賞、重要な講演や論文などを厳選して紹介します。
Free Post 機械学習 機械学習の仕事に就くには 技術採用担当者が語る秘訣とアドバイス 「機械学習の仕事に就く — 技術採用担当者が語る秘訣」と題されたバーチャルセミナー・パネルディスカッションが行われました。米国（主にシリコンバレー）を代表するスタートアップの採用担当者から、機械学習の仕事に興味のある方向けに、アドバイスや秘訣などを直接聞ける非常に良い機会ですので、抄訳と共に紹介します。
Free Post 機械学習 ニューラルネットを使ったランキング学習 総まとめ ランキングを機械学習によって最適化する手法である「ランキング学習」(learning to rank; LTR)、検索エンジンや推薦システムなど幅広い応用があり、アカデミア・産業界において活発に研究されている分野の一つです。近年のニューラルネットワークや最適化手法の発展により、新たなモデルが次々に開発されています。本記事では、ランキング学習について、特にニューラルネットなど微分可能なモデルを使った手法を中心にまとめてみたいと思います。
Free Post 自然言語処理 WordPieceからBPE-dropoutまで 〜 ニューラル時代のサブワード分割・トークン化手法 完全ガイド 深層学習を用いた自然言語処理では、テキストを「サブワード」と呼ばれる単語よりも短い単位に分割する手法が頻繁に用いられます。本記事では、WordPiece, Byte-pair encoding (BPE), SentencePiece など、数多くあるサブワード分割の手法・ソフトウェアを取り上げ、それぞれの特徴や違いなどを解説します。
Free Post 機械学習 バッチ・レイヤー…どれを使う？今度こそ分かる深層モデルの正規化手法 完全ガイド 高精度な深層モデルを訓練するためには、正規化を正しく適用することが欠かせません。正規化といっても様々な種類があり、「名前だけは聞いたことがある」「実装に含まれているので何となく使っている」という方も多いのではないでしょうか。本記事では、バッチ正規化をはじめとして、重み正規化、レイヤー正規化、インスタンス正規化、グループ正規化など、様々な種類の正規化をとりあげ、それぞれの仕組みや、長所・短所について解説してみたいと思います。
Free Post 音声認識 音声認識に「BERT 革命」がついに—音声に対する事前学習の最前線 高精度な音声認識モデルを訓練するには、大量のラベル付き学習データ（音声と、それを文字起こししたもの）が必要であることが知られています。画像認識 (ImageNet) や自然言語処理 (BERT) の分野において成功を収めた転移学習の手法は、音声認識の分野では有効ではないのでしょうか？本記事では、現在 (2020年10月) の段階における「音声認識の転移学習革命」の最前線を追ってみたいと思います。以下で紹介する手法を追ってみると、音声認識の分野でも「ImageNet 的瞬間」が着実に進んでいることが分かります。
Free Post コンピュータービジョン 「論文は読むな」画像×AIの専門家から初心者へのアドバイス Deeplearning.ai において、敵対的生成ネットワーク (GAN) の専攻コースが9月末にローンチされました。コースのローンチにあわせて、「GANs for Good」（社会のための GAN）と題されたバーチャルセミナー・パネルディスカッションが行われました。「GAN の生みの親」Ian Goodfellow 氏をはじめ、画像×AI の分野で著名なそうそうたるメンバーからの講演とパネルディスカッションがありました。以下では、抄訳とともに紹介したいと思います。
Free Post 自然言語処理 トップ研究者が語る、自然言語処理へ入門したい人へのアドバイス 今年の7月に、自然言語処理の専攻コースが新たにローンチされました。ローンチに伴って、自然言語処理分野の著名な研究者によるバーチャル・セミナーが開催され、「自然言語処理へ飛び込む (Break into NLP)」というタイトルで講演・パネルディスカッションが行われました。自然言語処理の分野に興味のある方に有用なアドバイスが数多くありましたので、ここで抄訳とともに紹介したいと思います。
Free Post コンピュータービジョン 画像・テキストに対する教師なし翻訳・スタイル変換はなぜうまく行くのか？その２つの秘訣 近年では、敵対的生成ネットワーク (GAN) などの関連技術の発展にともない、画像やテキストの生成技術が急速に発展し、生成の質も向上しています。本記事では、教師なしスタイル変換・翻訳の関連研究を、画像・言語（テキスト）の両分野に注目しながら追ってみたいと思います。対応付けのある訓練データを使わずに変換モデルを学習するという、一見、不可能そうに思えるこの問題がある程度うまく解けるのはどうしてなのでしょうか？トレンドを追っていくと、これらの手法の共通のキーとなるアイデアが浮かび上がってきます。
Free Post 自然言語処理 BERTはもう古い？ 深層学習トップ会議 ICLR 2020 から見る事前学習モデル・テキスト生成の最前線 表現学習・深層学習の最高峰会議 ICLR 2020 が 4/26 から 5/1 にかけてオンライン開催されました。本記事では、ICLR 2020 にて発表された論文、その中でも事前学習モデル、トランスフォーマーの改善、テキスト生成モデル関連の研究に焦点を当て、紹介してみたいと思います。
Free Post 自然言語処理 制御可能なニューラルテキスト生成モデルの最前線 近年のニューラル言語モデルの発展により、機械翻訳やテキスト要約などテキスト生成系タスクの性能は飛躍的に向上し、大きな話題となっています。このようなテキスト生成モデルに対して上手く条件付けをすることにより制御可能にする「制御可能なテキスト生成 (controllable text generation)」に関する手法が活発に研究・開発されています。本記事では、近年発表された代表的な手法や論文をいくつかピックアップして紹介したいと思います。
Free Post 自然言語処理 「自然言語処理の未来」HuggingFace 主席サイエンティストが語る NLP の最新トレンド HuggingFace にて研究チームを率いる Thomas Wolf 氏による「自然言語処理の未来」と題されたトーク、ごく最近の自然言語処理のトレンドがうまくまとまっていて非常に良い内容でしたので、日本語で詳細に紹介します。
Free Post 自然言語処理 最新マルチリンガル文埋め込みモデル USE, LASER, LaBSE 完全解説 自然言語文を、その意味等を考慮しながら固定長のベクトルによって表す文埋め込みモデルは、テキスト分類、テキストマイニング、自然言語推論など、様々なタスクで使用される重要な技術です。本記事では、マルチリンガル文埋め込みの最新モデル (USE, LASER, LaBSE) を、関連する論文を紹介しながら追ってみたいと思います。
Free Post 自然言語処理 系列変換 (Seq2Seq) 事前学習モデルの最前線と今後のトレンド 系列変換 (Seq2Seq) モデルは、翻訳のみならず、要約や対話の応答生成などの幅広い自然言語処理タスクにおいて使われている非常に重要なモデルです。近年の BERT のような事前学習モデルと転移学習の成功を受け、系列変換モデルに対してもさまざまな事前学習モデルが提案されています。本記事では、これまで提案された重要なモデル・論文を紹介し、今後のトレンドについて考えてみたいと思います。
