Free Post 自然言語処理 【2021年最新版】日本語BERTを徹底比較 事前学習言語モデルのオススメはこれ 日本語で、BERT などの事前学習モデルを使った自然言語処理タスクを解く機会が増えてきました。しかし、BERT だけでも、様々な研究機関・企業が、訓練データ、サイズ、分かち書きの方法等の異なる様々なバージョンを公開しており、「どれをどう使ったら良いかよく分からない」という方も多いのではないでしょうか。この記事では、2021年1月の現段階で公開されている様々な BERT のモデルのタスク性能を比較し、現時点でのオススメについて紹介してみたいと思います。
Free Post 自然言語処理 検索・書き換えに基づくノンパラメトリックな言語モデルの最前線 近年、知識をモデルのパラメーターとして全て表現するのではなく、何らかの外部知識として表現して利用する「ノンパラメトリック」手法がさかんに研究されています。これらの手法は「検索ベース」手法とも呼ばれており、外部知識から関連する文を検索したり、書き換えたりすることによって、パラメトリックなモデルの欠点を補うことができます。本記事では、これらノンパラメトリックな言語モデルに関する最近の手法のうち、メジャーなものをいくつかピックアップして紹介します。
Free Post 機械学習 説明可能な人工知能(XAI)とは？機械学習のモデルを説明・解釈する最新手法まとめ 近年、ニューラルネットワークに基づく大規模な深層学習モデルの普及によって、機械学習の様々なタスクにおいて非常に高い性能が達成されています。一方、これらのモデルは、伝統的な線形回帰や決定木などのモデルと比べて、どのような仕組みで予測が出力されているかが分かりにくい「ブラックボックス化」しているという問題があります。最近、NeurIPS、ACL などのトップ会議において、この「説明可能な人工知能」に関するチュートリアル講義が相次いで開催されました。本記事では、これらのチュートリアルから厳選した、「押さえておくべき説明・解釈手法」をいくつかご紹介します。
Free Post 自然言語処理 2020年最新版 モダンなフレームワークで実装する深層自然言語処理モデル 近年では、深層学習モデルを使って自然言語処理タスクを解く機会が増えていますが、モデルを開発・実装する方法にはさまざまなものがあります。機械学習モデルの開発には試行錯誤が必要となるので、どのフレームワークを使って実験を進めていくのかは大切な要素の一つです。本記事では、2020年の現在において、BERT のような事前学習モデルを使った深層自然言語処理の研究開発において、ベストプラクティスであると思われるフレームワーク、手法をコード例と共に紹介していきます。
Free Post コンピュータービジョン 人工知能の次のフロンティアとは？視覚×言語研究の最新動向 大量のテキストから事前学習した BERT や GPT-3 などの事前学習モデルに関する研究が話題ですが、人間の言語理解には、視覚・聴覚などとの相互作用、身体性・社会性が非常に重要です。この記事では、近年注目が高まっているマルチモーダル自然言語処理、特にその中でも、視覚×言語の最新の研究をいくつか取り上げ、紹介してみたいと思います。
Free Post 自然言語処理 自然言語処理トップ会議 EMNLP 2020 から厳選 重要論文・講演のまとめ 先週、自然言語処理分野のトップ会議のひとつである EMNLP 2020 がオンラインで開催されました。近年の AI/ML 系の学会の例に漏れず、本会議だけで 700本以上の論文が採択され、とても全部をチェックできる量ではありません。本記事では、EMNLP 2020 の中から、ベストペーパーとその佳作賞、重要な講演や論文などを厳選して紹介します。
Free Post 自然言語処理 WordPieceからBPE-dropoutまで 〜 ニューラル時代のサブワード分割・トークン化手法 完全ガイド 深層学習を用いた自然言語処理では、テキストを「サブワード」と呼ばれる単語よりも短い単位に分割する手法が頻繁に用いられます。本記事では、WordPiece, Byte-pair encoding (BPE), SentencePiece など、数多くあるサブワード分割の手法・ソフトウェアを取り上げ、それぞれの特徴や違いなどを解説します。
Free Post 音声認識 音声認識に「BERT 革命」がついに—音声に対する事前学習の最前線 高精度な音声認識モデルを訓練するには、大量のラベル付き学習データ（音声と、それを文字起こししたもの）が必要であることが知られています。画像認識 (ImageNet) や自然言語処理 (BERT) の分野において成功を収めた転移学習の手法は、音声認識の分野では有効ではないのでしょうか？本記事では、現在 (2020年10月) の段階における「音声認識の転移学習革命」の最前線を追ってみたいと思います。以下で紹介する手法を追ってみると、音声認識の分野でも「ImageNet 的瞬間」が着実に進んでいることが分かります。
Free Post 自然言語処理 トップ研究者が語る、自然言語処理へ入門したい人へのアドバイス 今年の7月に、自然言語処理の専攻コースが新たにローンチされました。ローンチに伴って、自然言語処理分野の著名な研究者によるバーチャル・セミナーが開催され、「自然言語処理へ飛び込む (Break into NLP)」というタイトルで講演・パネルディスカッションが行われました。自然言語処理の分野に興味のある方に有用なアドバイスが数多くありましたので、ここで抄訳とともに紹介したいと思います。
Free Post コンピュータービジョン 画像・テキストに対する教師なし翻訳・スタイル変換はなぜうまく行くのか？その２つの秘訣 近年では、敵対的生成ネットワーク (GAN) などの関連技術の発展にともない、画像やテキストの生成技術が急速に発展し、生成の質も向上しています。本記事では、教師なしスタイル変換・翻訳の関連研究を、画像・言語（テキスト）の両分野に注目しながら追ってみたいと思います。対応付けのある訓練データを使わずに変換モデルを学習するという、一見、不可能そうに思えるこの問題がある程度うまく解けるのはどうしてなのでしょうか？トレンドを追っていくと、これらの手法の共通のキーとなるアイデアが浮かび上がってきます。
Free Post 自然言語処理 BERTはもう古い？ 深層学習トップ会議 ICLR 2020 から見る事前学習モデル・テキスト生成の最前線 表現学習・深層学習の最高峰会議 ICLR 2020 が 4/26 から 5/1 にかけてオンライン開催されました。本記事では、ICLR 2020 にて発表された論文、その中でも事前学習モデル、トランスフォーマーの改善、テキスト生成モデル関連の研究に焦点を当て、紹介してみたいと思います。
Free Post 自然言語処理 制御可能なニューラルテキスト生成モデルの最前線 近年のニューラル言語モデルの発展により、機械翻訳やテキスト要約などテキスト生成系タスクの性能は飛躍的に向上し、大きな話題となっています。このようなテキスト生成モデルに対して上手く条件付けをすることにより制御可能にする「制御可能なテキスト生成 (controllable text generation)」に関する手法が活発に研究・開発されています。本記事では、近年発表された代表的な手法や論文をいくつかピックアップして紹介したいと思います。
Free Post 自然言語処理 「自然言語処理の未来」HuggingFace 主席サイエンティストが語る NLP の最新トレンド HuggingFace にて研究チームを率いる Thomas Wolf 氏による「自然言語処理の未来」と題されたトーク、ごく最近の自然言語処理のトレンドがうまくまとまっていて非常に良い内容でしたので、日本語で詳細に紹介します。
Free Post 自然言語処理 最新マルチリンガル文埋め込みモデル USE, LASER, LaBSE 完全解説 自然言語文を、その意味等を考慮しながら固定長のベクトルによって表す文埋め込みモデルは、テキスト分類、テキストマイニング、自然言語推論など、様々なタスクで使用される重要な技術です。本記事では、マルチリンガル文埋め込みの最新モデル (USE, LASER, LaBSE) を、関連する論文を紹介しながら追ってみたいと思います。
Free Post 自然言語処理 系列変換 (Seq2Seq) 事前学習モデルの最前線と今後のトレンド 系列変換 (Seq2Seq) モデルは、翻訳のみならず、要約や対話の応答生成などの幅広い自然言語処理タスクにおいて使われている非常に重要なモデルです。近年の BERT のような事前学習モデルと転移学習の成功を受け、系列変換モデルに対してもさまざまな事前学習モデルが提案されています。本記事では、これまで提案された重要なモデル・論文を紹介し、今後のトレンドについて考えてみたいと思います。
