模擬問題集 › GCP-PMLE › 練習問題 14

GCP-PMLE 練習問題 14|モデルのサービングとスケーリング

Professional Machine Learning Engineer・無料公開(全 200 問中 15 問を無料公開中)

問題
あなたは、Agent Platform エンドポイントにデプロイされたレコメンデーション モデルを使用する、トラフィックの多い e コマース アプリケーションを運用しています。フラッシュセールの際には、トラフィックが 1 秒あたりのクエリ数(QPS)1,000 から 50,000 へと急激に増加します。このような急増時、オートスケーラーが急な需要に対応できるだけの速さで新しいリソースをプロビジョニングできないため、アプリケーションが 503: Service Unavailable エラーを返します。セール開始時のサービス中断をなくす必要があります。エンドポイントをどのように構成すべきですか。

選択肢と解説

  • 1
    マシンタイプを NVIDIA A100 GPU 搭載の a2-highgpu-1g インスタンスに変更する。
  • ✓
    min_replica_count を、予想される急増のかなりの部分をカバーするベースラインまで引き上げ、max_replica_count を 100 に設定する。
  • 3
    デプロイされたモデルの自動スケーリング構成で、min_replica_count を 1 に、max_replica_count を 100 に設定する。
  • 4
    モデルをプライベートな Agent Platform エンドポイントにデプロイし、GPU 使用率に基づいて自動スケーリングする。

解説

【正解】B

【0からの解説】
①前提知識:Vertex AI Prediction(現 Agent Platform Inference)のエンドポイントにデプロイしたモデルは、min_replica_count(最小レプリカ数)と max_replica_count(最大レプリカ数)の範囲で、CPU 使用率や GPU デューティ サイクル(既定の目標は 60%)などの指標に基づいて自動スケーリングします。ただしスケールアップを決めてから新しいレプリカがリクエストを処理できるようになるまでには、VM のプロビジョニング、コンテナのダウンロード、モデルの読み込みといった時間がかかります。公式ドキュメントでも、スケールアップが想定トラフィックに対して遅すぎる場合は、最小レプリカ数を十分に高く設定することが推奨されています。
②要件の整理:(1) フラッシュセールで 1,000 QPS → 50,000 QPS へと急増、(2) オートスケーラーのリソース準備が間に合わず 503 エラーが発生、(3) セール開始時のサービス中断をなくす。
③正解の理由:min_replica_count を予想される急増の大部分に耐えられる水準まで引き上げておけば、セール開始の瞬間からすでに十分なレプリカが稼働しているため、新規プロビジョニングを待たずにトラフィックを処理できます。残りの増加分や想定外の増加は max_replica_count(100)までの自動スケーリングで吸収できます。リアクティブなスケーリングのタイムラグという根本原因に対する直接的な対策です(コスト面では、セール期間に合わせて事前に最小レプリカ数を引き上げ、終了後に戻すといった運用も考えられます)。

【誤りの選択肢】
A:マシンタイプを高性能な GPU インスタンスに変えても、各レプリカの処理能力が変わるだけで、オートスケーラーが新しいリソースを準備するまでの遅延は解消されません。GPU 付きノードはプロビジョニングにかえって時間がかかることもあり、コストも大きく増えます。
C:min_replica_count を 1 にすると、平常時はさらに少ないレプリカで待機することになり、急増時にはより多くのレプリカを新規にプロビジョニングしなければなりません。max_replica_count を増やしても上限が上がるだけでスケールアップの速度は変わらないため、503 エラーは解消されず、むしろ悪化します。
D:プライベート エンドポイントはネットワーク経路(VPC 内からの低レイテンシ・セキュアなアクセス)に関する選択であり、スケーリングの速さには影響しません。GPU 使用率に基づく自動スケーリングも、負荷が上がってから反応するリアクティブな方式である点は変わらず、プロビジョニングの遅延という根本原因を解決しません。

【参考】
自動スケーリングを使用して推論ノードをスケーリングする
推論用のコンピューティング リソースを構成する
← 練習問題 13練習問題 15 →
GCP-PMLE の模擬問題集は全 200 問

本番形式の練習テスト 4 回を、試験モード/演習モードで受験できます。 全問に解説付き、ドメイン別の弱点分析にも対応。模試プラン(月額 ¥980)からご利用いただけます。

GCP-PMLE の模試を受ける料金プランを見る

GCP-PMLE の無料公開問題

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8問題 9問題 10問題 11問題 12問題 13問題 14問題 15