萩原 正人

萩原 正人

Google、MSR、バイドゥ、楽天技術研究所NY、Duolingo など、日中米の多くのテック大手等において、研究者・エンジニアとして自然言語処理・機械学習の研究開発に携わる。2019年にフリーランスとして独立し、教育応用・アジア言語処理を専門とする AI 研究所 Octanove Labs を設立。機械翻訳や教育応用の分野にて、世界トップレベルの研究機関等と共に数多くのプロジェクトに携わる

Seattle, WA, USA
143 posts
Website Twitter
2023 年注目トレンドの一つ!ツール拡張言語モデルの最前線
Free Post
自然言語処理

2023 年注目トレンドの一つ!ツール拡張言語モデルの最前線

近年急速に能力を高めている言語モデルですが、事実のでっち上げがあったり最新の出来事に対応できなかったりとまだ課題もあります。これらに対処するため、検索エンジンなどのツールを使えるように言語モデルを拡張する研究が最近注目を集めています。その潜在的な影響力の大きさから、多くの研究者やエンジニアがこの分野に参入し始めています。そのため、ツール拡張された言語モデルは 2023 年の大きな注目技術の一つとなることが予想されます。そこで、本記事ではツール使用に関連する研究のうちいくつかをご紹介します。

最新・最高性能の大規模言語モデルGPT-4は果たして「AI研究」なのか
Free Post
自然言語処理

最新・最高性能の大規模言語モデルGPT-4は果たして「AI研究」なのか

先週、OpenAI から最新の大規模言語モデル GPT-4 が発表されました。現時点で性能レベルで最高と考えられる GPT-4 では、知能試験で人間を上回る成績を残し、学術系のベンチマークにおいてもこれまで発表された言語モデルを大きく上回る SOTA を更新しています。一方、発表された論文内には、モデルのスケール、訓練データや計算量についての情報が全く無く、「これはアカデミックの論文ではなく、単なるプロダクト宣伝である」という批判もコミュニティ上で続出しています。本記事では、この GPT-4 について、テクニカル・レポートを読み解き、分かる範囲でその技術を解説したいと思います。

現時点で最高性能・高効率のオープン大規模言語モデル LLaMA を解説
Free Post
自然言語処理

現時点で最高性能・高効率のオープン大規模言語モデル LLaMA を解説

先々週、Meta AI が大規模言語モデル LLaMA (ラマ) を公開しました。大規模言語モデルを構築する最新のテクニックを活用し、OPT や BLOOM などのオープンなモデルはもちろん、GPT-3 や PaLM のようなクローズドなモデルに比べても、多くのタスク・ベンチマークにて優位な性能を達成しています。コードおよびモデルとも研究用のオープンソースとして公開されており、これまでのオープン大規模言語モデルの中では最もインパクトの強いものであると言えそうです。本記事では、この大規模言語モデル LLaMA の学習法や性能などを詳細に解説します。

Adamを超える最適化器現る!?自動で発見された最適化器Lionが凄い
Free Post
機械学習

Adamを超える最適化器現る!?自動で発見された最適化器Lionが凄い

AdamW のような最適化器 (オプティマイザー) がほぼ標準として幅広く使われている深層学習界隈にて、それを超える強力な最適化器が現れました。Google Brain は、自動プログラム探索手法を通じて、AdamW よりも高性能かつ効率の良い最適化器 Lion を発見しています。画像認識・生成、自然言語生成などの幅広い実用タスクにおいて、Adam を超えた性能と最適化の効率を達成した、ということです。本記事では、Google Brain から発表された最適化器自動探索アルゴリズムおよびその結果の Lion の論文を解説します。

Minecraftでダイヤモンド初収集!世界モデル最新手法 DreamerV3 を解説【無料記事】
Free Post
強化学習

Minecraftでダイヤモンド初収集!世界モデル最新手法 DreamerV3 を解説【無料記事】

1月の初めごろ、 DeepMind から DreamerV3 という強化学習アルゴリズムが発表されました。このアルゴリズムは、極めて難しいタスクとして知られる Minecraft のダイヤモンド収集タスクを初めてゼロから解くことができたとして話題になりました。更に同アルゴリズムは固定のハイパーパラメータで複数のベンチマークタスクを解けることも論文中で報告されており、注目に値します。本記事ではこの DreamerV3 と、その前作である Dreamer、 DreamerV2 について解説しました。

2023年に爆発的な進歩!テキストからの音楽・オーディオ生成の最前線
Free Post
音楽情報処理

2023年に爆発的な進歩!テキストからの音楽・オーディオ生成の最前線

2023年になってまだ1ヶ月ですが、世界中の研究機関から「テキストからの音楽・オーディオ生成」を実現する手法・論文が矢継ぎ早に 10 本以上も発表され、「画像・ChatGPT の次に AI が革命を起こすのは音楽か」と世間を賑わせています。本記事では、2023年に入って最近発表された「音楽・オーディオ生成 AI」の主要な論文・手法をまとめて解説しました。2022年の比べ、高品質・長時間かつテキスト入力に忠実な音楽を生成できるようになっており、進歩の早さは目をみはるものがあります。

エルボー法はもうやめよう!k-meansのクラスタ数の最適な決め方とは
Free Post
機械学習

エルボー法はもうやめよう!k-meansのクラスタ数の最適な決め方とは

深層学習が全盛期となった今でも広く使われている k-means のクラスタリング。もし「エルボー法」を使って最適なクラスタ数を決めているとしたら注意が必要です。最近発表され話題になった本論文では、「k-means にエルボー法を使うのはやめよう」という挑発的なタイトルと共に、その問題点やクラスタ数を決めるためのより良い手法などを包括的に調査しています。本記事では、この論文を解説しながら、エルボー法や k-means の問題点、その改善方法などを見ていきましょう。

今年こそ基礎固め!arXiv で読めるML数学・理論の学習リソース10選
Free Post
機械学習

今年こそ基礎固め!arXiv で読めるML数学・理論の学習リソース10選

機械学習・人工知能の分野では、初心者向けの入門書などは多数ありますが、機械学習の数学や理論などをしっかり学ぼうとすると、「どこから始めたらよいか分からない」という方も多いのではないでしょうか。本記事では、「今年こそ数学・理論の基礎固めをしたい」という方向けに、arXiv で読める無料のリソースの中から、ML数学・理論や、特定のトピックを包括的に学べる教科書、ブックレット、サーベイ論文などを10選まとめました。

ニューラルネットを0と1で決定的に初期化する最新手法ZerOを解説
Free Post
機械学習

ニューラルネットを0と1で決定的に初期化する最新手法ZerOを解説

ニューラルネットの重みの初期化、デフォルトのままで本当に大丈夫か、あまり考えたことも無いという方も多いのではないでしょうか。最適化器やバッチ正規化などの手法の陰に隠れて地味な存在ですが、場合によっては、訓練の収束の成否やスピードに直結する重要な要素でもあります。本記事では、最近発表され話題になった「ニューラルネットを0と1で決定的に初期化する手法 ZerO」を中心に据えながらも、これまで発表されたメジャーな初期化法を順を追って振り返り解説します。

1GPUで1日だけ訓練して高性能「一夜漬け BERT」の秘訣とは
Free Post
自然言語処理

1GPUで1日だけ訓練して高性能「一夜漬け BERT」の秘訣とは

テスト (微調整) の前に、1GPU で1日だけ訓練させて高性能を達成した「一夜漬け (cramming) BERT」が話題です。BERT などの基盤モデルの事前学習には通常、強力な計算資源と長い時間がかかるものですが、本論文はそれを短縮し、個人や中小企業・研究室などでも事前学習を可能にすると期待できます。本記事では、この「一夜漬け BERT」の論文を中心に、その高速・高性能の秘訣をまとめました。

AI 激動の年!2022年の人工知能10大トレンドと必読論文
Free Post
機械学習

AI 激動の年!2022年の人工知能10大トレンドと必読論文

2022年も、人工知能の分野は急速に発展しました。本記事では、最新の深層学習の論文を何百本と読み解いて分かった「2022年の最重要トレンド」を詳細な参考文献と共に紹介します。人工知能の分野は、進歩が早くてキャッチアップが大変ですが、本記事を読めば、大まかなトレンドと重要研究をおさえられるように書きました。なお、厳密には 2022年に発表されたものではなくても、トレンドを理解する上で重要な論文は全て含めるようにしています。

ChatGPTのコア技術RLHF(人間フィードバックによる強化学習)を解説
Free Post
自然言語処理

ChatGPTのコア技術RLHF(人間フィードバックによる強化学習)を解説

OpenAI から対話に最適化した最新の言語モデルである ChatGPT が発表され、大きな話題となっています。その中でも、人間による評価と強化学習の技術を使い、言語モデルを人間の指示・嗜好にアラインメントさせる「人間によるフィードバックを用いた強化学習 Reinforcement Learning from Human Feedback (RLHF)」が重要な役割を果たしていると考えられ、注目が集まっています。本記事では、この RLHF の技術を関連論文と共に解説します。

機械学習トップ会議 NeurIPS 2022 のベストペーパー・重要論文を解説
Free Post
機械学習

機械学習トップ会議 NeurIPS 2022 のベストペーパー・重要論文を解説

先週の 11/26〜12/4 にかけて、機械学習系のトップ会議である NeurIPS 2022 がオンラインと現地のハイブリッドで開催されました。発表の分野も多岐に渡るため、その全てを単一の記事でカバーすることは到底できません。本記事では、主に優秀論文賞 (outstanding papers) を受賞した論文の中から、興味深く実用的にも重要なものをピックアップして紹介します。

You've successfully subscribed to ステート・オブ・AI ガイド
Great! Next, complete checkout for full access to ステート・オブ・AI ガイド
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.
Success! Your billing info is updated.
Billing info update failed.