MLA-C01 練習問題 5

ある保険会社の ML エンジニアが、毎月の保険契約の販売数を予測する回帰モデルをトレーニングしています。モデルのトレーニング後、ML エンジニアは Amazon SageMaker AI を使用して推論用にモデルをデプロイしました。ML エンジニアは、顧客行動に変化があったときに、本番データの分布がトレーニングデータの分布と異なっていないかを検出するために、モデルの予測を監視したいと考えています。 これらの要件を満たすソリューションはどれですか？

【正解】A

【0からの解説】
Amazon SageMaker Model Monitor には 4 種類の監視タイプがあり、それぞれ検出対象が異なります。
・データ品質（data quality）：本番エンドポイントに入ってくるデータの統計的性質（平均・分布・欠損率など）を、トレーニングデータから作成したベースラインと比較し、データ分布の変化（データドリフト）を検出します。
・モデル品質（model quality）：実際の正解ラベル（グラウンドトゥルース）と予測を突き合わせ、精度などモデル性能の劣化を検出します。
・バイアスドリフト：属性グループ間の偏りの変化を検出します（SageMaker Clarify と連携）。
・特徴量アトリビューションドリフト：各特徴量が予測に寄与する度合いの変化を検出します。

本問の要件は「本番データの分布がトレーニングデータの分布と異なっていないかの検出」であり、これはデータ品質ドリフトの監視そのものです。顧客行動の変化はまず入力データの分布変化として現れるため、A が正解です。

【誤りの選択肢】
B：モデル品質ドリフトの検出には実際の販売実績（正解ラベル）との比較が必要で、「データ分布の違いの検出」という要件とは対象が異なります。
C：バイアスドリフトは特定の属性グループに対する偏りの変化を見るものであり、全体のデータ分布の変化の検出が目的の本問には合いません。
D：特徴量アトリビューションドリフトは「どの特徴量が予測に効いているか」の変化を見るもので、入力データそのものの分布変化の検出とは別の監視タイプです。

【参考】
SageMaker Model Monitor によるデータ品質ドリフトの監視
Amazon SageMaker Model Monitor