模擬問題集 › GCP-PMLE › 練習問題 5

GCP-PMLE 練習問題 5|ローコードの AI ソリューションの設計

Professional Machine Learning Engineer・無料公開(全 200 問中 15 問を無料公開中)

問題
あなたは Gemini を使用する会話型アプリケーションをデプロイしました。最近、モデルのレスポンスの冗長さ(詳しさ)と正確さについて、数千行に及ぶユーザー フィードバックを収集しました。フィードバックによると、レスポンスは事実としては正しいものの、ユーザーは質問の種類に応じて異なるレベルの詳しさを求めていることがわかりました。ユーザーの期待により沿ったレスポンスを返すようにモデルを調整する必要があります。スケーラブルなソリューションを使用し、アプリケーションのメンテナンスを最小限に抑えたいと考えています。どうすればよいですか?

選択肢と解説

  • 1
    Model Garden の他のモデルを試す。各モデルをアプリケーションのデフォルト モデルとして設定して A/B テストを行い、その結果に基づいてモデルを選択する。
  • 2
    簡潔なレスポンスを期待するシナリオと詳細なレスポンスを期待するシナリオをすべて挙げるようユーザーに依頼する。それらのシナリオとそれぞれの詳しさのレベルを含むようにアプリケーションのプロンプトを変更する。更新したプロンプトでレスポンスの詳しさを再評価する。
  • 3
    キーワードベースのルーティング レイヤを実装する。ユーザーの入力に「detailed」や「description」という単語が含まれていれば詳細なレスポンスを返す。ユーザーの入力に「fact」という単語が含まれていれば、Gemini に再度プロンプトを送ってレスポンスを要約させ、簡潔なレスポンスを返す。
  • ✓
    適切な詳しさのレスポンスの例を、質問と回答のペアのリストとして提供するようユーザーに依頼する。このデータセットを使用して Agent Platform で教師ありファインチューニング(SFT)を行う。チューニングしたバージョンでレスポンスの詳しさを再評価する。

解説

【正解】D

【0からの解説】
①前提知識
・教師ありファインチューニング(SFT)は、「入力(プロンプト)と望ましい出力(回答)」のペアを例として与え、基盤モデルの振る舞いを特定のスタイル・形式・トーンに合わせて調整する手法です。Agent Platform(旧 Vertex AI)では Gemini モデルを JSONL 形式のデータセットでマネージドにチューニングでき、チューニング済みモデルはエンドポイントとしてそのまま利用できます。
・Google のドキュメントでは、SFT は「回答の長さや形式・スタイルなど、プロンプトだけでは一貫して制御しにくい出力の特徴」を学習させるのに適しているとされています。

②要件と制約語の整理
・回答は事実として正しい → 知識の追加ではなく「出力のスタイル(詳しさ)」の調整が課題。
・質問の種類によって望ましい詳しさが異なる → ルールで列挙しきれない微妙なパターンをモデルに学習させたい。
・数千行のフィードバックが既にある → 学習データの土台がある。
・「スケーラブル」「アプリケーションのメンテナンスを最小限に」→ アプリ側にルールや長いプロンプトを抱え込まない方法が望ましい。

③正解がどう満たすか
質問と適切な詳しさの回答のペアを集めて SFT を行えば、「どの種類の質問にどの程度の詳しさで答えるか」というパターン自体をモデルが学習します。アプリケーション側のロジックやプロンプトにシナリオを書き足し続ける必要がなく、新しい種類の質問にもある程度汎化するため、スケーラブルでメンテナンスも最小です。チューニング後に詳しさを再評価して効果を確認する点も、適切な開発サイクルです。

【誤りの選択肢】
A:回答は既に正確であり、問題はモデルの能力ではなく出力スタイルです。別モデルに切り替えても「質問の種類ごとの詳しさ」というユーザー固有の期待を学習するわけではなく、モデルごとの A/B テストは手間がかかるうえ、改善が保証されません。
B:プロンプトに全シナリオを列挙する方法は、シナリオが増えるたびにプロンプトを更新し続ける必要があり、プロンプトが肥大化してトークン コストやレイテンシも増えます。ユーザーに「すべてのシナリオ」を挙げてもらうこと自体も現実的ではなく、スケーラブルでもメンテナンス最小でもありません。
C:キーワードベースのルーティングは脆く、「detailed」「fact」などの単語を含まない多様な質問には対応できません。さらに要約のための再プロンプトで呼び出し回数とレイテンシ・コストが増え、ルールの追加・保守も継続的に必要になります。

【参考】
Gemini モデルの教師ありファインチューニングについて
Gemini モデルの教師ありファインチューニング データを準備する
チューニングの概要
← 練習問題 4練習問題 6 →
GCP-PMLE の模擬問題集は全 200 問

本番形式の練習テスト 4 回を、試験モード/演習モードで受験できます。 全問に解説付き、ドメイン別の弱点分析にも対応。模試プラン(月額 ¥980)からご利用いただけます。

GCP-PMLE の模試を受ける料金プランを見る

GCP-PMLE の無料公開問題

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8問題 9問題 10問題 11問題 12問題 13問題 14問題 15