模擬問題集 › GCP-PMLE › 練習問題 15

GCP-PMLE 練習問題 15|ML パイプラインの自動化とオーケストレーション

Professional Machine Learning Engineer・無料公開(全 200 問中 15 問を無料公開中)

問題
あなたは Agent Platform Pipelines を使用して自動トレーニング ワークフローを開発しています。このパイプラインは新しいカスタムモデルをトレーニングし、Model Registry に登録します。ホールドアウトしたテスト データセットでモデルのパフォーマンスを検証する必要があります。モデルの評価指標が特定のしきい値を満たした場合にのみ、モデルが本番環境の Agent Platform エンドポイントにデプロイされるようにしたいと考えています。コストと管理のオーバーヘッドを最小限に抑えたいと考えています。どうすればよいですか。

選択肢と解説

  • 1
    トレーニング ジョブ中にトレーニング データセットで評価指標を計算するようにトレーニング コンポーネントを構成する。指標を次のステップに出力し、評価指標が指定したしきい値を超えた場合にモデルをデプロイする条件付きタスクを使用する。
  • 2
    Model Registry から最新のモデル バージョンを取得する Python コンポーネントを挿入する。そのトレーニング指標を現在の本番モデルと比較し、新しいモデルのほうが優れている場合に新しいモデルをデプロイする条件付きタスクを使用する。
  • 3
    モデルを一時的な Agent Platform エンドポイントにデプロイする。カスタム コンポーネントを使用してテスト データセットをオンライン予測に送信し、指標を計算して、評価指標が指定したしきい値を超えた場合に本番環境のエンドポイントにデプロイする。
  • ✓
    テスト データセットで予測を生成するバッチ予測コンポーネントを追加する。結果をモデル評価コンポーネントに渡す。評価指標が指定したしきい値を超えた場合にモデルをデプロイする条件付きタスクを使用する。

解説

【正解】D

【0からの解説】
①前提知識:Vertex AI Pipelines(現 Gemini Enterprise Agent Platform Pipelines)では、Google Cloud パイプライン コンポーネント(GCPC)として、バッチ予測ジョブを実行するコンポーネント(ModelBatchPredictOp)や、予測結果と正解ラベルから分類・回帰などの評価指標を計算するモデル評価コンポーネント、エンドポイント作成・デプロイのコンポーネントなどが用意されています。また KFP の条件分岐(dsl.Condition/dsl.If)を使うと、上流タスクの出力(評価指標など)に応じて後続タスク(デプロイ)を実行するかどうかを決められます。バッチ予測はエンドポイントを常時起動する必要がなく、ジョブ実行中だけリソースが課金されます。
②要件の整理:(1) ホールドアウトしたテスト データセットで性能を検証、(2) 指標が特定のしきい値を満たした場合のみ本番エンドポイントにデプロイ、(3) コストと管理のオーバーヘッドを最小化。
③正解の理由:バッチ予測コンポーネントでテスト データセットの予測を生成し、モデル評価コンポーネントで指標を算出、条件付きタスクでしきい値判定してデプロイする構成は、Google が提供する既製コンポーネントの組み合わせだけで実現できる標準的なパターンです。評価は未知データ(ホールドアウト)で行われるため信頼でき、一時エンドポイントのような常時課金リソースも不要なので、コストと管理負荷の両方を最小化できます。

【誤りの選択肢】
A:トレーニング データセットで計算した指標は、モデルが学習に使ったデータに対する成績なので過学習していても高く出ます。要件の「ホールドアウトしたテスト データセットでの検証」を満たさず、汎化性能を正しく判定できません。
B:比較に使っているのはトレーニング指標であり、ホールドアウトのテスト データセットで評価していません。また、要件は「特定のしきい値を満たすこと」であって「本番モデルより優れていること」ではないため、判定基準も要件と一致しません。さらに Model Registry からの取得や比較ロジックを自前の Python コンポーネントで実装・保守する必要があります。
C:テスト データの評価のためだけに一時エンドポイントへデプロイすると、デプロイ中はノードが常時起動して課金され、デプロイ・アンデプロイの待ち時間や後片付けの管理も発生します。さらにオンライン予測用のリクエスト送信と指標計算をカスタム コンポーネントで実装する必要があり、オフラインでまとめて推論できるバッチ予測+既製の評価コンポーネントに比べてコストも管理のオーバーヘッドも大きくなります。

【参考】
Agent Platform を使用してモデルを評価する
Google Cloud パイプライン コンポーネントのリスト
パイプラインのビルド
← 練習問題 14
GCP-PMLE の模擬問題集は全 200 問

本番形式の練習テスト 4 回を、試験モード/演習モードで受験できます。 全問に解説付き、ドメイン別の弱点分析にも対応。模試プラン(月額 ¥980)からご利用いただけます。

GCP-PMLE の模試を受ける料金プランを見る

GCP-PMLE の無料公開問題

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8問題 9問題 10問題 11問題 12問題 13問題 14問題 15