模擬問題集 › GCP-PDE › 練習問題 15

GCP-PDE 練習問題 15|データの取り込みと処理

Professional Data Engineer・無料公開(全 200 問中 15 問を無料公開中)

問題
あなたのデータ サイエンス チームは、Cloud Storage バケット内に Apache Parquet 形式で保存されている大規模なデータセットに対して、インタラクティブな SQL クエリを実行する必要があります。チームは Apache Hive に精通しており、既存の HiveQL クエリを活用したいと考えています。チームが Cloud Storage 内のデータに対してインタラクティブな HiveQL クエリを直接実行できる環境を提供する必要があります。運用のオーバーヘッドは最小限に抑えたいと考えています。どうすればよいですか?

選択肢と解説

  • 1
    Compute Engine インスタンスのグループに、Apache Hadoop と Hive のクラスタを手動でインストールして構成する。
  • 2
    Parquet データを BigQuery のネイティブ テーブルに読み込み、BigQuery Connector for Hive を使用してクエリを実行する。
  • 3
    Parquet ファイルを参照する外部テーブル定義を使用して BigQuery を構成する。
  • ✓
    Hive サービスを有効にした Dataproc クラスタをデプロイする。

解説

【正解】D

【0からの解説】
①前提知識
・Dataproc(現 Managed Service for Apache Spark):Apache Spark・Hadoop・Hive・Pig などのオープンソースのデータ処理エコシステムを実行するマネージド サービスです。クラスタの作成・スケーリング・削除は平均 90 秒以内で完了し、インストールや構成の手間はほとんどありません。Hive はクラスタ イメージに含まれる標準コンポーネントです。
・Cloud Storage コネクタ:Dataproc のクラスタには既定でインストールされており、Hadoop / Hive から gs:// のパスを HDFS と同じように読み書きできます。そのため Hive の外部テーブルの LOCATION に Cloud Storage のパスを指定すれば、Parquet ファイルを HDFS にコピーせずに直接クエリできます。
・BigQuery の外部テーブル:BigQuery から Cloud Storage 上のファイルを GoogleSQL でクエリする仕組みです。

②問題文の要件の整理
・Cloud Storage 上の Parquet データに対するインタラクティブな SQL クエリ
・既存の HiveQL クエリをそのまま活用したい
・Cloud Storage 内のデータを直接クエリする
・運用のオーバーヘッドを最小限にする

③正解の理由
Dataproc なら、Hive を含むマネージドな Hadoop 環境を短時間で用意でき、既存の HiveQL をそのまま Cloud Storage 上の Parquet に対して実行できます。ソフトウェアのインストールや構成は Google が管理するため運用負荷が小さく、使わないときはクラスタを削除したりオートスケーリングを使ったりして費用も抑えられます。要件(HiveQL・Cloud Storage を直接参照・運用負荷最小)をすべて満たすのは D です。

【誤りの選択肢】
A:Compute Engine 上への手動構築でも動作はしますが、Hadoop / Hive のインストール・構成・パッチ適用・スケーリング・障害対応をすべて自分で行う必要があり、「運用のオーバーヘッドを最小限に」という要件に反します。
B:データを BigQuery のネイティブ テーブルに読み込むと、「Cloud Storage 内のデータに直接クエリする」という要件に反し、余分なデータ移動と二重保存が発生します。さらに Hive-BigQuery コネクタは Hive(Hadoop クラスタ)上で動くコネクタなので、結局は Hive の実行環境が別途必要になります。
C:BigQuery の外部テーブルを使えば Cloud Storage 上の Parquet を直接クエリできますが、クエリ言語は GoogleSQL であり HiveQL ではありません。既存の HiveQL クエリを活用するという要件を満たさず、クエリの書き換えが必要になります。

【参考】
クラスタの Managed Service for Apache Spark の概要
Cloud Storage コネクタ | Managed Service for Apache Spark
Hive-BigQuery コネクタ | Managed Service for Apache Spark
← 練習問題 14
GCP-PDE の模擬問題集は全 200 問

本番形式の練習テスト 4 回を、試験モード/演習モードで受験できます。 全問に解説付き、ドメイン別の弱点分析にも対応。模試プラン(月額 ¥980)からご利用いただけます。

GCP-PDE の模試を受ける料金プランを見る

GCP-PDE の無料公開問題

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8問題 9問題 10問題 11問題 12問題 13問題 14問題 15