今回はなぞのおぷてぃまいざーであるAdafactorについて論文の内容を見ていきます。 arxiv.org 概要 AdafactorはAdamを元にした最適化アルゴリズムで、メモリ容量の削減とパラメータスケールに応じた学習率の調整を行う手法です。勾配の二乗指数平均をランク1…