MLA-C01 練習問題 1

ある ML エンジニアは、A/B テストを使用してレコメンデーションモデルを動的に選択しています。モデルは Amazon SageMaker AI エンドポイントにデプロイされています。ML エンジニアは、エンドポイントが呼び出されたときのレイテンシ、呼び出し量、HTTP ステータスコードなどのシステムメトリクスを監視する必要があります。 最も少ない運用負荷でこれらの要件を満たすソリューションはどれですか？

【正解】B

【0からの解説】
Amazon SageMaker AI のエンドポイントは、呼び出しに関するメトリクスを Amazon CloudWatch に自動的に発行します。具体的には、Invocations（呼び出し量）、ModelLatency／OverheadLatency（レイテンシ）、Invocation4XXErrors／Invocation5XXErrors（HTTP ステータスコード系のエラー）などが組み込みで提供されます。つまり、本問で求められている「レイテンシ・呼び出し量・HTTP ステータスコード」は、まさに CloudWatch が標準で収集しているメトリクスそのものです。

CloudWatch ダッシュボードを構成すれば、これらのメトリクスを一画面で可視化でき、A/B テスト中の複数モデル（プロダクションバリアント別のメトリクスも提供される）の比較監視ができます。ログの詳細な加工が必要な場合には Lambda によるログ処理を補助的に追加できますが、基盤は CloudWatch のネイティブ統合であり、選択肢の中で最も運用負荷が小さい構成です。

【誤りの選択肢】
A：AWS X-Ray は分散トレーシング（リクエストがサービス間をどう流れたかの追跡）のためのサービスです。利用するには呼び出し側アプリケーションへの SDK 計装が必要で、エンドポイントのシステムメトリクスの監視には CloudWatch のネイティブメトリクスを使うほうがはるかに簡単です。
C：IAM Access Analyzer は、リソースが外部と共有されていないかなどアクセス権限を分析するセキュリティサービスであり、パフォーマンスメトリクスの追跡機能はありません。
D：AWS Trusted Advisor は、コスト最適化やセキュリティのベストプラクティスをチェックするサービスであり、エンドポイントのリアルタイムなシステムメトリクス監視には使えません。

【参考】
CloudWatch による Amazon SageMaker AI のモニタリング
Amazon CloudWatch ダッシュボード