模擬問題集 › GCP-ADP › 練習問題 14

GCP-ADP 練習問題 14|データの準備と取り込み

Associate Data Practitioner・無料公開(全 200 問中 15 問を無料公開中)

問題
あなたは日次のソーシャル メディア データを分析する必要があるプロジェクトに取り組んでいます。Cloud Storage に保存された 100 GB の JSON 形式のデータがあり、このデータは増え続けています。分析のために、このデータを変換して BigQuery に読み込む必要があります。Google が推奨するアプローチに従いたいと考えています。どうすればよいですか。

選択肢と解説

  • 1
    Cloud Data Fusion を使用してデータを BigQuery の未加工(raw)テーブルに転送し、SQL を使用して変換する。
  • ✓
    Dataflow を使用してデータを変換し、変換したデータを BigQuery に書き込む。
  • 3
    Cloud Storage からデータを手動でダウンロードする。Python スクリプトを使用してデータを変換し、BigQuery にアップロードする。
  • 4
    Cloud Run functions を使用してデータを変換し、BigQuery に読み込む。

解説

【正解】B

【0からの解説】
①前提知識:Dataflow は Apache Beam をベースにしたフルマネージドのデータ処理サービスで、バッチ処理とストリーミング処理の両方に対応し、データ量に応じてワーカーを自動でスケール(オートスケーリング)します。Cloud Storage からの読み込み、JSON の解析・整形・フィルタなどの変換、BigQuery への書き込みを 1 つのパイプラインで実行でき、Google 提供のテンプレート(例: Cloud Storage Text to BigQuery。UDF で変換を追加可能)も用意されています。Cloud Data Fusion はノーコードの GUI で ETL パイプラインを構築するサービス、Cloud Run functions(旧 Cloud Functions)はイベントをきっかけに短時間の処理を実行するサーバーレス関数です。
②要件の整理:「100 GB 規模の JSON データ」「増え続ける(スケーラビリティが必要)」「変換して BigQuery に読み込む」「Google 推奨のアプローチ」です。
③正解の理由:Dataflow はデータ量の増加に合わせて自動でスケールする分散処理基盤で、変換と BigQuery への書き込みを 1 つのマネージドなパイプラインで完結できます。大量かつ増え続けるデータの変換・読み込み(ETL)として、Google が推奨する代表的な構成です。

【誤りの選択肢】
A:Cloud Data Fusion で未加工テーブルに取り込んでから SQL で変換する ELT 構成も動作はしますが、単にデータを BigQuery に移すだけの用途に Cloud Data Fusion のインスタンス(常時稼働で費用がかかる)を用意するのは過剰で、変換処理も別途 SQL ジョブとして管理する必要があります。変換と読み込みを 1 つのスケーラブルなパイプラインで行える Dataflow と比べて構成が冗長です。
C:手動でダウンロードしてローカルの Python スクリプトで処理する方法は、増え続ける 100 GB 超のデータに対してスケールせず、自動化もされず、ダウンロードによる余計なデータ移動やセキュリティ上のリスクも生じます。Google 推奨のアプローチではありません。
D:Cloud Run functions は短時間で終わる軽量なイベント処理向けで、実行時間やメモリに上限があります。100 GB 規模で増え続けるデータの一括変換のような大規模なデータ処理には向いておらず、分散処理やリトライの仕組みも自前で作り込む必要があります。

【参考】
Dataflow の概要
Google 提供のテンプレート | Cloud Dataflow
Cloud Storage からの JSON データの読み込み
← 練習問題 13練習問題 15 →
GCP-ADP の模擬問題集は全 200 問

本番形式の練習テスト 4 回を、試験モード/演習モードで受験できます。 全問に解説付き、ドメイン別の弱点分析にも対応。模試プラン(月額 ¥980)からご利用いただけます。

GCP-ADP の模試を受ける料金プランを見る

GCP-ADP の無料公開問題

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8問題 9問題 10問題 11問題 12問題 13問題 14問題 15