模擬問題集 › GCP-PMLE › 練習問題 2

GCP-PMLE 練習問題 2|モデルのサービングとスケーリング

Professional Machine Learning Engineer・無料公開(全 200 問中 15 問を無料公開中)

問題
あなたはメディア企業に勤務しています。ライブ音声ストリームの文字起こしと話者分離(ダイアライゼーション、話者識別)をほぼリアルタイムで行うソリューションを開発しています。PyTorch フレームワーク上に構築された最適化済みの WhisperX モデルを使用しており、このモデルは Hugging Face Hub から取得した複数のライブラリと重みを使用しています。デプロイには、モデル推論の直後に実行される、話者分離やアライメント補正を含む独自の Python 後処理ロジックを含める必要があります。ソリューションは効率的かつスケーラブルで、高スループットに対応し、サービングのレイテンシを最小限に抑える必要があります。このモデルと必要なロジックをどのようにデプロイすべきですか?

選択肢と解説

  • 1
    WhisperX モデルのアーティファクトを、GPU を構成したビルド済み PyTorch サービング コンテナを使用して Agent Platform エンドポイントにデプロイする。カスタムの後処理スクリプトは、エンドポイントの予測出力を受け取って最終的な話者分離を行う Cloud Run functions の関数でホストする。
  • 2
    セルフマネージドの Google Kubernetes Engine(GKE)クラスタを使用してデプロイする。モデルとロジックをコンテナにパッケージ化し、クラスタの Horizontal Pod Autoscaler(HPA)を構成してスループットを管理する。
  • ✓
    WhisperX モデルのアーティファクト、特定の Python 後処理スクリプト、必要な依存関係(Hugging Face ライブラリを含む)を単一のカスタム サービング コンテナ イメージにパッケージ化する。このカスタム イメージを GPU 対応の Agent Platform エンドポイントにデプロイする。
  • 4
    Model Garden で WhisperX モデルを探し、「ワンクリック デプロイ」機能を使用して Agent Platform エンドポイントにデプロイする。出力を Dataflow パイプラインにルーティングし、カスタムの DoFn 関数で後処理とロギングを行う。

解説

【正解】C

【0からの解説】
①前提知識
・Agent Platform Inference(旧 Vertex AI Prediction)では、モデルをエンドポイントにデプロイしてオンライン推論を提供します。デプロイ方法には、TensorFlow / PyTorch / scikit-learn / XGBoost などの標準的な形式向けの「ビルド済みコンテナ」と、任意のコード・ライブラリ・前処理 / 後処理を含められる「カスタム コンテナ」があります。
・カスタム コンテナは、HTTP サーバーとして推論リクエスト / ヘルスチェックに応答するという要件さえ満たせば、内部で任意の処理(推論 + 後処理)を実行できます。GPU の割り当てや、マネージドのオートスケーリング(最小 / 最大レプリカ数)もエンドポイント側で設定できます。
・WhisperX は Whisper による文字起こしに、単語レベルのアライメントや pyannote などによる話者分離を組み合わせたオープンソースのパイプラインで、多数の Python 依存関係を持ちます。

②要件と制約語の整理
・独自の Python 後処理(話者分離・アライメント補正)を「推論の直後に」実行する。
・Hugging Face のライブラリや重みなど特殊な依存関係がある。
・効率的、スケーラブル、高スループット、「サービングのレイテンシを最小限に」。

③正解がどう満たすか
モデル・後処理スクリプト・依存関係を 1 つのカスタム サービング コンテナにまとめれば、推論と後処理が同じコンテナ(同じ GPU マシン)内のメモリ上で連続して実行され、サービス間のネットワーク往復がなくなるためレイテンシが最小になります。デプロイ先は GPU 対応の Agent Platform エンドポイントなので、マネージドのオートスケーリングで高スループットにも対応でき、インフラ運用の負担もありません。

【誤りの選択肢】
A:ビルド済み PyTorch コンテナは標準的なモデル提供を前提としており、WhisperX 固有の依存関係や独自ロジックをそのまま組み込むには向きません。さらに後処理を別サービスの Cloud Run functions に分けると、推論結果をネットワーク越しに受け渡す追加のホップが発生し、レイテンシが増え、構成要素も増えて管理が複雑になります。
B:GKE でも動作はしますが、「セルフマネージド」のクラスタではノード、GPU ドライバ、スケーリング、アップグレードなどの運用をすべて自分で担う必要があります。マネージドの Agent Platform エンドポイントで同等のスケーラビリティが得られるため、効率性の面で劣ります。
D:最適化済みの独自 WhisperX 構成が Model Garden のワンクリック デプロイでそのまま提供されている前提は成り立たず、独自の後処理も組み込めません。また、推論結果を Dataflow パイプラインに流して後処理する構成は、追加のデータ転送とパイプライン処理の遅延を生み、「推論の直後に実行」「レイテンシ最小」の要件に反します。

【参考】
推論にカスタム コンテナを使用する
推論用のカスタム コンテナの要件
← 練習問題 1練習問題 3 →
GCP-PMLE の模擬問題集は全 200 問

本番形式の練習テスト 4 回を、試験モード/演習モードで受験できます。 全問に解説付き、ドメイン別の弱点分析にも対応。模試プラン(月額 ¥980)からご利用いただけます。

GCP-PMLE の模試を受ける料金プランを見る

GCP-PMLE の無料公開問題

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8問題 9問題 10問題 11問題 12問題 13問題 14問題 15