模擬問題集 › GCP-PMLE › 練習問題 6

GCP-PMLE 練習問題 6|AI ソリューションのモニタリング

Professional Machine Learning Engineer・無料公開(全 200 問中 15 問を無料公開中)

問題
あなたは、Gemini Enterprise Agent Platform を使用して、オンラインゲーム コミュニティ向けの生成 AI チャットボットをデプロイしています。ベータテスト中に、ユーザーが悪意のあるプロンプトを入力することで、モデルにヘイトスピーチや暴力的なコンテンツを生成させられることが判明しました。最小限の開発オーバーヘッドで、本番環境においてこのようなコンテンツをブロックするガードレールを実装する必要があります。どうすればよいですか?

選択肢と解説

  • 1
    モデルのシステム指示(システム プロンプト)を更新し、「あなたは役に立つアシスタントです。ヘイトスピーチや暴力的なコンテンツは生成しないでください。」と明示的に記述する。
  • ✓
    Model Armor を実装・構成し、ヘイトに該当するコンテンツが検出された場合にレスポンスをサニタイズする。
  • 3
    Agent Platform で教師ありファインチューニング(SFT)ジョブを作成し、安全でポリシーに準拠したゲーム関連の会話を厳選したデータセットを使ってモデルをチューニングする。
  • 4
    Cloud Natural Language API のモデレーション機能を統合し、有害なユーザー プロンプトがチャットボット モデルに届く前に分析してブロックする。

解説

【正解】B

【0からの解説】
①前提知識
・Gemini Enterprise Agent Platform(旧 Vertex AI)は、Gemini などの生成 AI モデルを利用・運用するための Google Cloud のプラットフォームです。
・Model Armor は、LLM へのプロンプト(入力)と LLM からのレスポンス(出力)を検査(スクリーニング)するフルマネージドのセキュリティ サービスです。テンプレートで「責任ある AI(Responsible AI)フィルタ(ヘイトスピーチ、ハラスメント、性的に露骨な表現、危険なコンテンツ)」「プロンプト インジェクション / ジェイルブレイク検出」「悪意のある URL 検出」「Sensitive Data Protection(旧 Cloud DLP)による機密データ検出」などを有効化し、検出時にブロックやサニタイズを行えます。
・Model Armor は Agent Platform と統合されており、テンプレートやフロア設定を構成するだけで generateContent などのモデル呼び出しに検査を適用できるため、独自のフィルタ処理を書く必要がほとんどありません。

②要件と制約語の整理
・悪意あるプロンプト(ジェイルブレイク的な入力)によってヘイトスピーチや暴力的コンテンツが生成されてしまう → 生成結果を確実に検査して止めるガードレールが必要。
・「本番環境で」「最小限の開発オーバーヘッドで」→ 自前実装やモデル再学習ではなく、構成ベースで適用できるマネージド機能が望ましい。

③正解がどう満たすか
Model Armor のテンプレートでヘイトスピーチや危険なコンテンツのフィルタ(信頼度のしきい値)を設定し、モデルのレスポンスを検査・サニタイズすれば、プロンプトがどれだけ巧妙でも「出力側」で有害なコンテンツを止められます。Agent Platform との統合機能を使えば構成だけで適用でき、開発オーバーヘッドは最小です。必要に応じてプロンプト側のプロンプト インジェクション / ジェイルブレイク検出も同じテンプレートで有効化できます。

【誤りの選択肢】
A:システム指示は有用ですが、あくまでモデルへの「お願い」であり強制力のあるガードレールではありません。今回まさに問題になっている悪意あるプロンプト(ジェイルブレイク)はシステム指示を回避するように作られているため、本番の防御としては不十分です。
C:SFT にはデータセットの収集・整備、チューニング ジョブの実行、評価、再デプロイが必要で、開発オーバーヘッドが大きくなります。また、チューニングしてもジェイルブレイクで有害出力を引き出される可能性は残り、検出・ブロックという決定的なガードレールにはなりません。
D:Cloud Natural Language API のテキスト モデレーション(moderateText)で有害性を判定すること自体は可能ですが、API 呼び出し・しきい値判定・ブロック処理をアプリ側に自前で組み込む必要があり、開発オーバーヘッドが Model Armor より大きくなります。さらにこの案は入力プロンプトのみを検査しており、一見無害に見えるプロンプトから生成された有害な「レスポンス」は防げません。LLM 向けに設計されたマネージドのガードレールである Model Armor のほうが要件に適合します。

【参考】
Model Armor の概要
Model Armor を Gemini Enterprise Agent Platform と統合する
プロンプトとレスポンスをサニタイズする | Model Armor
← 練習問題 5練習問題 7 →
GCP-PMLE の模擬問題集は全 200 問

本番形式の練習テスト 4 回を、試験モード/演習モードで受験できます。 全問に解説付き、ドメイン別の弱点分析にも対応。模試プラン(月額 ¥980)からご利用いただけます。

GCP-PMLE の模試を受ける料金プランを見る

GCP-PMLE の無料公開問題

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8問題 9問題 10問題 11問題 12問題 13問題 14問題 15