AIF-C01 練習問題 2

ある企業がデータセットで ML モデルをトレーニングしています。データセットには、他のクラスよりも多くの例を持つクラスがいくつか含まれています。同社は、モデルがクラスの検出とラベル付けをどれだけバランスよく行えているかを測定したいと考えています。 同社はどのメトリクスを使用すべきですか？

【正解】D

【0からの解説】
本問のポイントは 2 つです。(1) データセットにクラス不均衡がある、(2)「検出（＝再現率）」と「ラベル付けの正しさ（＝適合率）」のバランスを測りたい。
・F1 スコアは、適合率（Precision：正と予測したもののうち正解の割合）と再現率（Recall：実際の正のうち検出できた割合）の調和平均で、両者のバランスを 1 つの数値で表す指標です。「バランスよく」というキーワードが F1 を指しています。
・またクラス不均衡があるデータでは、F1 スコアは多数派クラスに引きずられにくく、少数派クラスの予測品質を適切に反映します。

【誤りの選択肢】
A：精度（Accuracy）は全体の正解割合ですが、クラス不均衡があると多数派をすべて当てるだけで高くなってしまい、評価指標として不適切です。
B：再現率だけでは「検出の網羅性」しか測れず、誤検出の多さ（適合率の低下）を見逃します。
C：適合率だけでは「予測の正確さ」しか測れず、取りこぼし（再現率の低下）を見逃します。バランスを測るには両方を組み合わせた F1 が必要です。

【参考】
SageMaker Autopilot のメトリクス（分類指標）