【正解】A
【0からの解説】
学習率(learning rate)は、確率的勾配降下法(SGD)が 1 回の更新でモデルの重みをどれだけ動かすかを決めるハイパーパラメータです。
・学習率が小さすぎる場合:1 ステップごとの前進がわずかになり、損失の減少が非常に遅くなります。限られたエポック数では最適解に到達できず、精度も上がりません。これが本問の症状(損失の減少が非常に遅い・精度が向上しない)です。
・学習率が大きすぎる場合:損失が振動・発散します(本問の症状とは異なります)。
症状の原因は「学習率が小さすぎること」なので、初期学習率を上げれば、同じトレーニング時間(同じエポック数)のままで損失の減少が速くなり、モデルのパフォーマンス改善が期待できます。トレーニング時間を増やさないという制約も満たします。
【誤りの選択肢】
B:学習率を下げると 1 ステップの前進がさらに小さくなり、「損失の減少が遅い」という症状が悪化します。
C:エポック数を増やせば最終的に損失は下がるかもしれませんが、合計トレーニング時間が増えるため、「トレーニング時間を増やさない」という制約に違反します。
D:エポック数を減らすと学習の機会そのものが減り、精度が向上しないという問題がさらに悪化します。
【参考】
SageMaker と TensorBoard の使用ハイパーパラメータチューニングの仕組み