模擬問題集AIP-C01練習問題 7

AIP-C01 練習問題 7

AWS Generative AI Developer – Professional・AIの安全性・セキュリティ・ガバナンス・無料公開(全 100 問中 15 問を無料公開中)

問題
ある小売企業は、Amazon Bedrock を使用した生成 AI(GenAI)商品レコメンデーションアプリケーションを運用しています。このアプリケーションは、閲覧履歴と人口統計属性(デモグラフィック)に基づいて顧客に商品を提案します。同社は、2 つのプロンプトアプローチ間のレコメンデーションにおけるバイアスを検出・測定するために、複数の人口統計グループにまたがる公平性評価を実装する必要があります。同社は公平性メトリクスをリアルタイムで収集・監視したいと考えています。人口統計グループ間で公平性メトリクスに 15% を超える乖離が見られた場合には、アラートを受け取らなければなりません。また、2 つのプロンプトアプローチのパフォーマンスを比較する週次レポートを受け取らなければなりません。 最も少ないカスタム開発工数でこれらの要件を満たすソリューションはどれですか?

選択肢と解説

  • 1
    Amazon Bedrock API 呼び出しのデフォルトメトリクスを表示する Amazon CloudWatch ダッシュボードを構成する。モデル出力に基づくカスタムメトリクスを作成する。Amazon EventBridge ルールを設定して AWS Lambda 関数を起動し、モデル応答の後処理分析を実行してカスタム公平性メトリクスを発行する。
  • 2
    Amazon Bedrock プロンプト管理で 2 つのプロンプトバリアントを作成する。Amazon Bedrock フローを使用して、定義したトラフィック配分でプロンプトバリアントをデプロイする。人口統計の公平性を監視するコンテンツフィルターを備えた Amazon Bedrock ガードレールを構成する。GuardrailContentSource ディメンションの InvocationsIntervened メトリクスを使用する Amazon CloudWatch アラームを設定し、レコメンデーションの乖離のしきい値違反を検出する。
  • Amazon SageMaker Clarify を設定してモデル出力を分析する。公平性メトリクスを Amazon CloudWatch に発行する。SageMaker Clarify のバイアスメトリクスと Amazon Bedrock のレイテンシメトリクスを組み合わせた CloudWatch 複合アラームを作成し、包括的な公平性評価ダッシュボードを提供する。
  • 4
    2 つのプロンプトバリアント間の公平性を比較する Amazon Bedrock モデル評価ジョブを作成する。Amazon CloudWatch でモデル呼び出しログを有効にする。人口統計グループごとのディメンションを持つ InvocationsIntervened メトリクスの CloudWatch アラームを設定する。

解説

【正解】C

【0からの解説】
「公平性(fairness)評価」とは、AI の出力が性別・年齢・地域などの人口統計グループによって不当に偏っていないか(バイアスがないか)を測定することです。AWS でバイアス検出・公平性メトリクスの計算を担う専用サービスが Amazon SageMaker Clarify です。Clarify はデータやモデル出力のバイアスを多数の統計指標で算出でき、結果を Amazon CloudWatch にメトリクスとして発行すれば、しきい値アラート(15% の乖離検出)やダッシュボード化が標準機能だけで実現できます。

【C が正解の理由】
・バイアス測定 → SageMaker Clarify(公平性評価の専用機能であり、自前のバイアス計算ロジックを開発する必要がない)。
・リアルタイム監視と 15% 乖離アラート → Clarify のメトリクスを CloudWatch に発行し、アラーム(複合アラーム含む)を設定。
・週次レポート/比較 → CloudWatch のダッシュボードとメトリクスで対応。
専用機能の組み合わせで完結するため、カスタム開発工数が最小になります。

【誤りの選択肢】
A:Bedrock のデフォルトメトリクス(呼び出し回数・レイテンシ等)には公平性に関する指標は存在しません。Lambda で後処理分析(バイアス計算)を自前実装することになり、「最小のカスタム開発工数」に反します。
B・D:いずれもガードレールの InvocationsIntervened メトリクスを公平性の監視に流用しようとしていますが、これは「ガードレールが介入(ブロック等)した回数」を表すメトリクスであり、人口統計グループ間のレコメンデーションの乖離やバイアスを測定するものではありません。またガードレールのコンテンツフィルターは有害表現の制御機能であって公平性測定機能ではなく(B)、Bedrock モデル評価ジョブはオンデマンドで実行するオフライン評価であり「リアルタイムで収集・監視」という要件を満たせません(D)。

【参考】
SageMaker Clarify による公平性・モデル説明可能性
Amazon CloudWatch アラームの使用
← 練習問題 6練習問題 8
AIP-C01 の模擬問題集は全 100

本番形式の練習テスト 2 回を、試験モード/演習モードで受験できます。 全問に解説付き、ドメイン別の弱点分析にも対応。模試プラン(月額 ¥980)からご利用いただけます。

AIP-C01 の模試を受ける料金プランを見る

AIP-C01 の無料公開問題

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8問題 9問題 10問題 11問題 12問題 13問題 14問題 15