萩原 正人

萩原 正人

Google、MSR、バイドゥ、楽天技術研究所NY、Duolingo など、日中米の多くのテック大手等において、研究者・エンジニアとして自然言語処理・機械学習の研究開発に携わる。2019年にフリーランスとして独立し、教育応用・アジア言語処理を専門とする AI 研究所 Octanove Labs を設立。機械翻訳や教育応用の分野にて、世界トップレベルの研究機関等と共に数多くのプロジェクトに携わる

Seattle, WA, USA
34 posts
Website Twitter
人工生命と人工知能の融合 ニューラル・セル・オートマトンを使った機械学習の最前線
Free Post
機械学習

人工生命と人工知能の融合 ニューラル・セル・オートマトンを使った機械学習の最前線

ここ1〜2年ほどで、連続値の状態を持ち、微分可能なニューラルネットワークによって状態を更新する「ニューラル・セル・オートマトン (NCA)」に関する研究が進んでいます。生物の成長をシミュレーションしたり、分類・セグメンテーションなど基礎的な機械学習タスクを解くことができるなど非常に興味深い成果が多く出ており、個人的に注目している分野です。この記事では、最近のセル・オートマトン+機械学習の手法をいくつか紹介しながら、人工生命と人工知能の分野の融合を垣間見てみたいと思います。

フローベースの深層生成モデルと音声合成の最前線
Free Post
機械学習

フローベースの深層生成モデルと音声合成の最前線

近似なしで潜在変数や対数尤度を正確に推定可能、対数尤度を最大化させることで学習ができる、逆変換ができる、など、様々な特徴を持つフローベースの生成モデル。GAN や VAE などの他のモデルほど有名ではありませんが、近年研究が進み、Glow (Kingma and Dhariwal 2018) のように高品質な画像が生成できるようになるなど、注目され始めています。本記事では、フローベースの深層生成モデルと、フローを利用した音声合成モデルの最新の研究を追ってみたいと思います。

ついにパラメータ1兆個超え!スイッチ・トランスフォーマーと混合エキスパートモデルを完全解説
Free Post
自然言語処理

ついにパラメータ1兆個超え!スイッチ・トランスフォーマーと混合エキスパートモデルを完全解説

2021年1月に発表された「スイッチ・トランスフォーマー」の論文、「ついにパラメータが1兆個超え」ということで話題になったのが記憶に新しいかもしれません。本記事では、そのスイッチ・トランスフォーマーの論文を、前身となった混合エキスパート (MoE) モデルにさかのぼって解説したいと思います。

マルチリンガル自然言語処理が幅広く学べる カーネギーメロン大講義がオススメ
Free Post
自然言語処理

マルチリンガル自然言語処理が幅広く学べる カーネギーメロン大講義がオススメ

昨年の5月に、低リソース自然言語処理ブートキャンプが開催されました。カーネギーメロン大の一線の研究者による、低リソース自然言語処理のチュートリアルと、実際のデータセットやライブラリを使った演習が盛りだくさん。本記事では、講演をまとめ訳と共に紹介します。

グラフ+深層学習の最重要手法・論文トップ10の総まとめ
Free Post
機械学習

グラフ+深層学習の最重要手法・論文トップ10の総まとめ

グラフ構造を持つデータに対するニューラルネットワークであるグラフ・ニューラルネットワーク (GNN) は、深層学習の中でも研究が活発な分野の一つです。ソーシャルネットワーク上のユーザー属性の予測、推薦、化合物の分類、自然言語文の構造解析、画像セグメンテーションなど、グラフ状の構造を持つ様々なタスクや分野に応用されています。本記事では、これまで提案されてきた、重要な GNN に関する手法・論文を 10 個ほどまとめとして紹介します。

機械学習エンジニアリングについて読んでおきたい 14編のオススメ文献・教科書
Free Post
機械学習

機械学習エンジニアリングについて読んでおきたい 14編のオススメ文献・教科書

機械学習が現実のプロダクトへと導入・活用される機会が増えるに従い、機械学習システムを開発・デプロイする「機械学習エンジニアリング」についても重要性が増しています。本記事では、機械学習エンジニアリング、特に、機械学習システムの設計・開発・デプロイ・サービングなどにまつわる落とし穴やアドバイスなどをまとめた良質な文献・教科書を全部で14編、まとめと共に紹介いたします。

【2021年最新版】日本語BERTを徹底比較 事前学習言語モデルのオススメはこれ
Free Post
自然言語処理

【2021年最新版】日本語BERTを徹底比較 事前学習言語モデルのオススメはこれ

日本語で、BERT などの事前学習モデルを使った自然言語処理タスクを解く機会が増えてきました。しかし、BERT だけでも、様々な研究機関・企業が、訓練データ、サイズ、分かち書きの方法等の異なる様々なバージョンを公開しており、「どれをどう使ったら良いかよく分からない」という方も多いのではないでしょうか。この記事では、2021年1月の現段階で公開されている様々な BERT のモデルのタスク性能を比較し、現時点でのオススメについて紹介してみたいと思います。

画像生成にも革命!OpenAI の画像生成モデル DALL·E の技術詳細に迫る
Free Post
コンピュータービジョン

画像生成にも革命!OpenAI の画像生成モデル DALL·E の技術詳細に迫る

先週、OpenAI から 「DALL·E (ダリー)」と呼ばれる、言語から画像を生成する画像生成モデルが発表されました。ネットでは、「テキストから高クオリティの画像を生成できる」という点が特に取り沙汰されている印象ですが、その技術的詳細については、論文がまだ公表されていないこともあって、あまり議論されていません。本記事では、公式の記事や、CLIP などの関連研究などを紹介し、その技術・モデル等の詳細について速報的に解説してみたいと思います。

検索・書き換えに基づくノンパラメトリックな言語モデルの最前線
Free Post
自然言語処理

検索・書き換えに基づくノンパラメトリックな言語モデルの最前線

近年、知識をモデルのパラメーターとして全て表現するのではなく、何らかの外部知識として表現して利用する「ノンパラメトリック」手法がさかんに研究されています。これらの手法は「検索ベース」手法とも呼ばれており、外部知識から関連する文を検索したり、書き換えたりすることによって、パラメトリックなモデルの欠点を補うことができます。本記事では、これらノンパラメトリックな言語モデルに関する最近の手法のうち、メジャーなものをいくつかピックアップして紹介します。

今年のAIトレンド概観 2020年に論文で言及された機械学習トピック TOP20
Free Post
機械学習

今年のAIトレンド概観 2020年に論文で言及された機械学習トピック TOP20

2020年ももう年の瀬が迫っていますが、今年も機械学習・人工知能の分野は話題には事欠きませんでした。本記事では、2020年に arXiv において機械学習・自然言語処理・コンピュータービジョンの各分野で発表された全論文を自然言語処理の技術を使って解析することによって、「2020年に最も言及された機械学習トピック」のランキングを作って発表します。

機械学習トップ会議 NeurIPS 2020 から見るデータ拡張・教師なし表現学習のトレンド
Free Post
機械学習

機械学習トップ会議 NeurIPS 2020 から見るデータ拡張・教師なし表現学習のトレンド

先々週の 12/7〜12/12 にかけて、機械学習系のトップ会議である NeurIPS 2020 がオンラインで開催されました。発表の分野も多岐に渡るため、その全てを単一の記事でカバーすることは到底できません。本記事では、発表された論文の中から、現時点での引用数などを参考にしながら、重要な論文、特に、データ拡張および半教師あり学習に関する重要論文をいくつか取り上げ解説してみたいと思います。

説明可能な人工知能(XAI)とは?機械学習のモデルを説明・解釈する最新手法まとめ
Free Post
機械学習

説明可能な人工知能(XAI)とは?機械学習のモデルを説明・解釈する最新手法まとめ

近年、ニューラルネットワークに基づく大規模な深層学習モデルの普及によって、機械学習の様々なタスクにおいて非常に高い性能が達成されています。一方、これらのモデルは、伝統的な線形回帰や決定木などのモデルと比べて、どのような仕組みで予測が出力されているかが分かりにくい「ブラックボックス化」しているという問題があります。最近、NeurIPS、ACL などのトップ会議において、この「説明可能な人工知能」に関するチュートリアル講義が相次いで開催されました。本記事では、これらのチュートリアルから厳選した、「押さえておくべき説明・解釈手法」をいくつかご紹介します。

2020年最新版  モダンなフレームワークで実装する深層自然言語処理モデル
Free Post
自然言語処理

2020年最新版 モダンなフレームワークで実装する深層自然言語処理モデル

近年では、深層学習モデルを使って自然言語処理タスクを解く機会が増えていますが、モデルを開発・実装する方法にはさまざまなものがあります。機械学習モデルの開発には試行錯誤が必要となるので、どのフレームワークを使って実験を進めていくのかは大切な要素の一つです。本記事では、2020年の現在において、BERT のような事前学習モデルを使った深層自然言語処理の研究開発において、ベストプラクティスであると思われるフレームワーク、手法をコード例と共に紹介していきます。

人工知能の次のフロンティアとは?視覚×言語研究の最新動向
Free Post
コンピュータービジョン

人工知能の次のフロンティアとは?視覚×言語研究の最新動向

大量のテキストから事前学習した BERT や GPT-3 などの事前学習モデルに関する研究が話題ですが、人間の言語理解には、視覚・聴覚などとの相互作用、身体性・社会性が非常に重要です。この記事では、近年注目が高まっているマルチモーダル自然言語処理、特にその中でも、視覚×言語の最新の研究をいくつか取り上げ、紹介してみたいと思います。

自然言語処理トップ会議 EMNLP 2020 から厳選 重要論文・講演のまとめ
Free Post
自然言語処理

自然言語処理トップ会議 EMNLP 2020 から厳選 重要論文・講演のまとめ

先週、自然言語処理分野のトップ会議のひとつである EMNLP 2020 がオンラインで開催されました。近年の AI/ML 系の学会の例に漏れず、本会議だけで 700本以上の論文が採択され、とても全部をチェックできる量ではありません。本記事では、EMNLP 2020 の中から、ベストペーパーとその佳作賞、重要な講演や論文などを厳選して紹介します。

You've successfully subscribed to ステート・オブ・AI ガイド
Great! Next, complete checkout for full access to ステート・オブ・AI ガイド
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.
Success! Your billing info is updated.
Billing info update failed.