この記事は、会員限定記事ですので、アクセスすることができません。購読してアカウントをアップグレードすると、本記事に加え、既存の会員専用コンテンツが全て読めるようになります。
料金および本ブログの詳細、団体購読などについては、「本ブログについて」をご覧ください。
BERTとトランスフォーマーはこう使え 「効果的な訓練・微調整のコツ」総まとめ
BERTやトランスフォーマーを使った自然言語処理が普及していますが、これらのモデルを効果的に訓練・微調整をするためには未だに「職人芸」的なテクニックが必要となります。「これを知っているだけで BERT とトランスフォーマーの訓練・微調整が劇的に安定・改善する」という手法を比較・検討した論文が最近になっていくつか出てきましたので、まとめて解説したいと思います。