MLA-C01 練習問題 11

ある ML エンジニアが、予測時に 2 つのクラスのうち一方のクラスでパフォーマンスが低い画像分類モデルをチューニングしています。分析の結果、モデルのパフォーマンスが低かったクラスの画像は、トレーニングデータセット全体のごくわずかな割合しか占めていないことが判明しました。 ML エンジニアはモデルのパフォーマンスを改善しなければなりません。 この要件を満たすソリューションはどれですか？

【正解】B

【0からの解説】
本問はクラス不均衡な画像分類に対する「評価指標」と「データ増強手法」の正しい組み合わせを問うています。
(1) 評価指標：クラス不均衡があるとき、精度（accuracy）は不適切です。たとえば少数派クラスが全体の 2% なら、すべて多数派と予測するだけで精度 98% になってしまい、少数派の検出力を反映できません。適合率（precision）と再現率（recall）の調和平均である F1 スコアなら、少数派クラスの予測品質を適切に評価できます。
(2) データ増強：画像データの少数派クラスを増やすには、回転・反転・明るさ変更・切り抜きなどで元画像から新しいバリエーションを作る「画像拡張（image augmentation）」が標準手法です。

【誤りの選択肢】
A・C：精度（accuracy）への最適化は、上記のとおりクラス不均衡では多数派クラスに偏った評価となり、少数派クラスのパフォーマンス改善という目的を正しく測れません。
C・D：SMOTE は、特徴量空間内で少数派サンプル同士を補間して合成サンプルを作る手法で、主に数値（表形式）データ向けです。生の画像ピクセルに SMOTE を適用すると、画像同士をぼかし合成したような不自然なサンプルが生成され、画像分類の改善手法としては不適切です。画像には画像拡張を使うのが定石です。

【参考】
SageMaker Clarify によるクラス不均衡（CI）の測定
SageMaker のトレーニングメトリクス