模擬問題集 › GCP-ADP › 練習問題 6

GCP-ADP 練習問題 6|データの準備と取り込み

Associate Data Practitioner・無料公開(全 200 問中 15 問を無料公開中)

問題
Amazon S3 から Google Cloud の Nearline の Cloud Storage バケットへの、毎週実行される既存の Storage Transfer Service 転送ジョブがあります。このジョブは毎週、比較的小さなファイルを大量に移動します。毎週転送するファイルの数が時間とともに増加したため、割り当てられた時間枠内で転送を完了できなくなるおそれがあります。このプロセスを置き換えて、合計転送時間を短縮する必要があります。ソリューションは可能な限りコストを最小限に抑える必要があります。どうすればよいですか。

選択肢と解説

  • ✓
    包含(include)プレフィックスと除外(exclude)プレフィックスを使用して、並列の転送ジョブを作成する。
  • 2
    Google Cloud CLI を使用して転送ジョブを作成し、--custom-storage-class フラグで Standard ストレージ クラスを指定する。
  • 3
    Amazon S3 から Cloud Storage にデータを移行する、毎週スケジュールされたバッチ Dataflow ジョブを作成する。
  • 4
    Compute Engine インスタンス上の複数の転送エージェントを利用するエージェント ベースの転送ジョブを作成する。

解説

【正解】A

【0からの解説】
①前提知識:Storage Transfer Service(STS)は Amazon S3 などから Cloud Storage へデータを転送するマネージド サービスで、S3 からの転送はエージェント不要(エージェントレス)で実行できます。STS には「転送ジョブあたりの 1 秒あたりのクエリ数(QPS)」に上限があり、ファイル 1 つごとに一覧取得・読み取り・書き込みなどのリクエストが発生するため、比較的小さなファイルが大量にあるジョブでは、データ量ではなくこの QPS 上限が転送速度のボトルネックになります。公式ドキュメント(転送速度の改善)では、この場合は転送を複数のジョブに分割し、include / exclude プレフィックスで各ジョブが扱うファイルの範囲を分けることが推奨されています(例:先頭が a〜e のパスだけを含むジョブ、f〜j のジョブ…)。

②要件と制約語の整理:(a) S3 → Cloud Storage(Nearline)の週次ジョブ、(b) 小さなファイルが大量で数が増え続けている、(c) 合計転送時間を短縮したい、(d)「可能な限りコストを最小限に(minimize costs)」。

③正解の理由:プレフィックスでデータを分割した複数の転送ジョブを並列に実行すると、ジョブごとの QPS 上限が並行して使えるため、多数の小さなファイルの転送が速くなります。STS のマネージドな仕組みをそのまま使い、追加のコンピューティング リソース(VM や Dataflow ワーカー)を用意しないため、コストも最小限に抑えられます。

【誤りの選択肢】
B:保存先のストレージ クラスを Nearline から Standard に変えても、ファイルの転送速度(QPS のボトルネック)は改善しません。むしろ Standard はストレージ料金が Nearline より高く、データをあまり参照しない用途ならコスト増になります。転送時間短縮にもコスト最小化にもつながりません。
C:Dataflow で S3 から読み出して Cloud Storage に書き込むパイプラインを自作することは可能ですが、コードの開発・保守が必要で、ワーカー VM の料金も発生します。STS はファイル転送のために用意されたマネージド サービスであり、それを自前実装に置き換えるのは運用負荷とコストの両面で不利です。
D:エージェント ベースの転送は主にオンプレミスのファイル システムや S3 互換ストレージ向けの方式で、Amazon S3 からはエージェントレスで転送できます。わざわざ Compute Engine インスタンスを複数立ててエージェントを動かすと VM の料金や運用が増え、「コストを最小限に抑える」要件に反します。

【参考】
ソース オブジェクトを前方一致でフィルタする | Storage Transfer Service
Amazon S3 から Cloud Storage への転送 | Storage Transfer Service
← 練習問題 5練習問題 7 →
GCP-ADP の模擬問題集は全 200 問

本番形式の練習テスト 4 回を、試験モード/演習モードで受験できます。 全問に解説付き、ドメイン別の弱点分析にも対応。模試プラン(月額 ¥980)からご利用いただけます。

GCP-ADP の模試を受ける料金プランを見る

GCP-ADP の無料公開問題

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8問題 9問題 10問題 11問題 12問題 13問題 14問題 15