【正解】B
【0からの解説】
①前提知識
・AutoSxS（Automatic Side-by-Side）は、Agent Platform（旧 Vertex AI）のパイプライン ベースのペアワイズ（2 つ比較）評価ツールです。同じプロンプトに対する 2 つのモデル（または事前生成済みの予測）の出力を、「オートレーター」と呼ばれる評価用 LLM（LLM-as-a-judge）が比較し、どちらが優れているかを判定します。
・要約タスクでは「指示への従い方」「根拠性（グラウンディング）」「網羅性」「簡潔さ」といった定義済みの基準で判定し、例ごとの判定・信頼度・説明と、全体の勝率（win rate）を出力します。人手の選好データを与えれば、オートレーターと人間の一致度も算出できます。
・現行名との対応: AutoSxS は「評価パイプライン サービス」上で動くペアワイズ評価ツールで、現在もドキュメントに「AutoSxS パイプラインを実行する」として残っています。ただし AutoSxS のページ自体に「最新のペアワイズ モデルベース評価機能は『評価指標を定義する』を参照」という案内があり、同じ「2 つの出力を判定用 LLM で比べ、どちらが良いかと勝率を出す」機能は、現在は Gen AI Evaluation Service（生成 AI 評価サービス）側に集約されつつあります。Gen AI Evaluation Service では、以前のバージョン（ベースライン）と新しいバージョン（候補）の応答を同じデータセットで生成してまとめて評価にかけると、横並び（サイドバイサイド）の比較レポートと勝率・引き分け率が得られます。SDK の評価モジュールにも、判定モデル（Gemini）が候補とベースラインのどちらが優れているかを選び、理由の説明と勝率を出す「ペアワイズ指標」があります。つまり「AutoSxS ＝ 評価パイプラインで実行する従来形のペアワイズ評価」「Gen AI Evaluation Service のペアワイズ評価（複数候補の比較）＝ その機能の現行の受け皿」と対応づけて覚えておけば、試験でどちらの名前で問われても正解を選べます。
②要件と制約語の整理
・評価対象: 生成された「要約の品質」。
・比較対象: ソリューションの「以前のバージョン」。
・「自動化」「スケーラブル」「定量化」→ 人手評価ではなく、大量の例を自動で採点して数値化できる方法。
③正解がどう満たすか
AutoSxS で新旧バージョンの出力を同じ評価データセットに対して並べて比較すれば、オートレーターが要約の品質基準に沿って例ごとにどちらが優れているかを判定し、勝率として定量化します。パイプラインとして実行されるため自動化・スケールが容易で、判定理由の説明も得られます。現行の環境で同じことを行う場合は、Gen AI Evaluation Service のペアワイズ評価で新旧バージョンを比べても、考え方は同じです。
【誤りの選択肢】
A：Model Monitoring は本番の入力データ分布のスキューやドリフトを監視する機能です。出力トークン長の変化を追っても、要約が正確か・網羅的かといった「品質」は評価できず、新旧バージョンの比較にもなりません。
C：A/B テストは本番で実際のユーザー反応を測る手段ですが、クリック率は要約の品質を直接表す指標ではありません。また、本番デプロイとトラフィックの蓄積が必要で、品質の悪い要約を顧客に見せるリスクもあり、開発段階での自動評価として適切ではありません。
D：BLEU は生成文と参照文（正解テキスト）の n-gram の一致度を測る指標で、主に機械翻訳向けです。要約の意味的な品質（正確さ・網羅性など）をうまく捉えられず、参照要約の用意も必要です。また BLEU は各バージョンを参照文と比べるだけで、2 つの出力を直接比較して「どちらが良いか」を判定するものではありません。
【参考】
AutoSxS パイプラインを実行してペアワイズ モデルベースの評価を行うGen AI Evaluation Service の概要評価結果を表示して解釈する