MLA-C01 練習問題 14

ある企業は、ユーザーに動画を推奨する ML モデルを使用しています。このモデルは Amazon SageMaker AI にデプロイされています。モデルはデプロイ直後は良好なパフォーマンスを示しましたが、時間の経過とともにパフォーマンスが劣化しています。 今後モデルドリフトを特定するために、同社が使用できるソリューションはどれですか？

【正解】B

【0からの解説】
Amazon SageMaker Model Monitor は、本番エンドポイントのデータやモデル品質のドリフト（変化）を継続的に監視するマネージド機能です。重要なのはセットアップの「順序」です。
(1) まずトレーニングデータセットからベースラインを作成します。ベースラインジョブが、トレーニングデータの統計情報（statistics.json）と制約条件（constraints.json）を生成します。これが「正常な状態」の基準になります。
(2) その後、監視ジョブ（監視スケジュール）を作成します。監視ジョブは、エンドポイントでキャプチャした本番データをベースラインと定期的に比較し、基準からの逸脱（＝ドリフト）を検出して違反レポートを出力します。
比較の基準となるベースラインが先に存在しなければ監視ジョブはドリフトを判定できないため、「ベースライン作成 → 監視ジョブ作成」の順序である B が正解です。

【誤りの選択肢】
A：順序が逆です。ベースラインがない状態で監視ジョブを作成しても、比較対象がないためドリフトの判定ができません。
C：SageMaker Clarify の組み込みルールはバイアスや説明可能性の分析のためのものであり、一般的なモデルドリフト検出のベースライン作成手順として誤っています（ドリフト監視の中核は Model Monitor です）。
D：再トレーニングして比較するのは一度きりの確認にすぎず、「今後ドリフトを特定する」ための継続的・自動的な監視の仕組みになりません。

【参考】
Amazon SageMaker Model Monitor
Model Monitor のベースラインの作成