Free Post 音声認識 音声認識に「BERT 革命」がついに—音声に対する事前学習の最前線 高精度な音声認識モデルを訓練するには、大量のラベル付き学習データ（音声と、それを文字起こししたもの）が必要であることが知られています。画像認識 (ImageNet) や自然言語処理 (BERT) の分野において成功を収めた転移学習の手法は、音声認識の分野では有効ではないのでしょうか？本記事では、現在 (2020年10月) の段階における「音声認識の転移学習革命」の最前線を追ってみたいと思います。以下で紹介する手法を追ってみると、音声認識の分野でも「ImageNet 的瞬間」が着実に進んでいることが分かります。
Free Post 自然言語処理 トップ研究者が語る、自然言語処理へ入門したい人へのアドバイス 今年の7月に、自然言語処理の専攻コースが新たにローンチされました。ローンチに伴って、自然言語処理分野の著名な研究者によるバーチャル・セミナーが開催され、「自然言語処理へ飛び込む (Break into NLP)」というタイトルで講演・パネルディスカッションが行われました。自然言語処理の分野に興味のある方に有用なアドバイスが数多くありましたので、ここで抄訳とともに紹介したいと思います。
Free Post コンピュータービジョン 画像・テキストに対する教師なし翻訳・スタイル変換はなぜうまく行くのか？その２つの秘訣 近年では、敵対的生成ネットワーク (GAN) などの関連技術の発展にともない、画像やテキストの生成技術が急速に発展し、生成の質も向上しています。本記事では、教師なしスタイル変換・翻訳の関連研究を、画像・言語（テキスト）の両分野に注目しながら追ってみたいと思います。対応付けのある訓練データを使わずに変換モデルを学習するという、一見、不可能そうに思えるこの問題がある程度うまく解けるのはどうしてなのでしょうか？トレンドを追っていくと、これらの手法の共通のキーとなるアイデアが浮かび上がってきます。
Free Post 自然言語処理 BERTはもう古い？ 深層学習トップ会議 ICLR 2020 から見る事前学習モデル・テキスト生成の最前線 表現学習・深層学習の最高峰会議 ICLR 2020 が 4/26 から 5/1 にかけてオンライン開催されました。本記事では、ICLR 2020 にて発表された論文、その中でも事前学習モデル、トランスフォーマーの改善、テキスト生成モデル関連の研究に焦点を当て、紹介してみたいと思います。
Free Post 自然言語処理 制御可能なニューラルテキスト生成モデルの最前線 近年のニューラル言語モデルの発展により、機械翻訳やテキスト要約などテキスト生成系タスクの性能は飛躍的に向上し、大きな話題となっています。このようなテキスト生成モデルに対して上手く条件付けをすることにより制御可能にする「制御可能なテキスト生成 (controllable text generation)」に関する手法が活発に研究・開発されています。本記事では、近年発表された代表的な手法や論文をいくつかピックアップして紹介したいと思います。
Free Post 自然言語処理 「自然言語処理の未来」HuggingFace 主席サイエンティストが語る NLP の最新トレンド HuggingFace にて研究チームを率いる Thomas Wolf 氏による「自然言語処理の未来」と題されたトーク、ごく最近の自然言語処理のトレンドがうまくまとまっていて非常に良い内容でしたので、日本語で詳細に紹介します。
Free Post 自然言語処理 最新マルチリンガル文埋め込みモデル USE, LASER, LaBSE 完全解説 自然言語文を、その意味等を考慮しながら固定長のベクトルによって表す文埋め込みモデルは、テキスト分類、テキストマイニング、自然言語推論など、様々なタスクで使用される重要な技術です。本記事では、マルチリンガル文埋め込みの最新モデル (USE, LASER, LaBSE) を、関連する論文を紹介しながら追ってみたいと思います。
Free Post 自然言語処理 系列変換 (Seq2Seq) 事前学習モデルの最前線と今後のトレンド 系列変換 (Seq2Seq) モデルは、翻訳のみならず、要約や対話の応答生成などの幅広い自然言語処理タスクにおいて使われている非常に重要なモデルです。近年の BERT のような事前学習モデルと転移学習の成功を受け、系列変換モデルに対してもさまざまな事前学習モデルが提案されています。本記事では、これまで提案された重要なモデル・論文を紹介し、今後のトレンドについて考えてみたいと思います。
Free Post 自然言語処理 機械学習トップ会議 ICML 2020 から厳選 テキスト・系列生成の重要論文 先月7月に、機械学習トップ会議 ICML 2020 がオンラインで開催されました。本記事では、テキスト・系列生成分野の発表にフォーカスし、厳選した重要論文を紹介したいと思います。なお、自然言語処理の会議に比べて、自己符号化器やトランスフォーマー・モデルの改善など、音声・画像・テキストなど様々なタスクに使える研究が多い印象です。
Free Post 自然言語処理 英語だけで自然言語処理をする問題点と、日本語話者として私たちにできること 近年、自然言語処理の分野では、強力なシステムやモデルが提案され、様々なタスクにおいて人間の精度に迫るものも出てきました。しかし、これらの進歩のほとんどは、英語や中国語など、資源が豊富にある言語を対象にしています。本記事では、英語だけを対象にして自然言語処理の研究開発をするのがなぜ問題なのか、について、関連文献などを紹介しながら追ってみたいと思います。
Free Post 自然言語処理 生成から編集へ — 自然言語処理の教育応用の最前線 (2020年版) 先月7月に、自然言語処理の教育応用に関する最先端の研究が発表されるワークショップ BEA 2020 が国際会議 ACL 2020 の併設ワークショップとして開催されました。この分野は、産業界からのニーズも高く、毎年国際会議の本会議やワークショップ等で多数の論文が発表される進歩の速い分野です。本記事では、ACL 2020 および BEA 2020 において発表された研究をベースに、自然言語処理の教育応用における最新の研究トレンドを追ってみたいと思います。
Free Post 自然言語処理 超巨大言語モデル GPT-3 は、従来のモデルと何が違うのか その３つの特徴 Open AI によって開発された超巨大言語モデル「GPT-3」が ベータ版として公開されて以来、世間を賑わせています。ここ最近では、リリース時の騒動もだいぶ収まって、「とにかくすごい」系の過熱気味の反応も、冷静な分析なども含め情報が一通り収まった感があります。GPT-3 の「すごさ」については、これまでにも様々なところで語られつくされているので、本記事では、「これまでの言語モデルと何が違うのか」という点にフォーカスして、その特徴について解説してみたいと思います。
Free Post 自然言語処理 自然言語処理トップ会議 ACL 2020 のベストペーパー完全解説 初のオンライン開催となった自然言語処理のトップ会議 ACL 2020 ですが、今回も示唆に富んだ多くの論文がベストペーパーおよび佳作として選ばれました。いずれも非常に興味深く、自然言語処理の最新トレンドを理解する上で読んでおいたほうが良いものばかりなのですが、何しろボリュームがあり、全てを読んで理解するのは大変です。この記事では、ベストペーパーに輝いた論文を中心に、佳作、テーマ・ペーパー、デモ・ペーパーも含めた論文も簡単に解説します。
Free Post 自然言語処理 トップ会議 ACL 2020 から読み解く自然言語処理の最新トレンド 7/6〜7/10 にかけて、自然言語処理分野のトップ会議である ACL 2020 が開催されました。合計で 779本の論文が採択され、かつ、チュートリアルや併設ワークショップ等も多数開催されたため、スキマ時間にビデオを効率良く見ても、とても全てチェックできるような量ではありません。本記事では、ACL 2020 に参加して研究をチェックして分かった「自然言語処理の最新トレンド」を解説したいと思います。
