音声認識

先週、OpenAI から、オープンソースの音声認識モデル「Whisper」が発表されました。この Whisper、なんと 68 万時間もの訓練データで訓練された大規模な音声認識モデルで、英語で人間に匹敵する高い性能を上げたうえ、日本語を含む多言語の音声認識、音声翻訳、言語認識、音声区間検出なども可能です。これまでの AI コミュニティの反応を総合すると、総じて「これはすごい」というもので、今後の音声認識の研究・実用に大きな影響を与えるものと思われます。本記事では、この OpenAI の Whisper の論文を読み解き、そのデータ・モデルの詳細、今後予測されるインパクトなどを解説しました。

BERT や CLIP など、大規模なデータによって自己教師あり学習によって訓練され、様々なタスクに微調整して適用できる「基盤モデル」の波が音声認識などの音声処理の分野にも押し寄せています。本記事では、この「音声 × 基盤モデル」の最新論文について解説しました。また、最近、人気が上昇しているオーディオ処理用ライブラリ「torchaudio」の論文も出版されましたので、そちらについても解説しました。

最近、「教師なしで音声認識を実現した」というモデル wav2vec-U (wav2vec Unsupervised) が発表されました。数年前の教師ありモデルに匹敵した性能を上げており、音声認識、表現学習、GAN、自己学習など、近年の深層学習技術の集大成とも呼べる成果だと思いますので、本記事では速報として紹介したいと思います。