模擬問題集 › GCP-PDE › 練習問題 3

GCP-PDE 練習問題 3|データの保存

Professional Data Engineer・無料公開(全 200 問中 15 問を無料公開中)

問題
あなたは Google Cloud 上に、ウェブサイト、モバイルアプリ、ソーシャル メディアなどのさまざまなソースから得られる膨大な量の顧客とのやり取り(インタラクション)データを保存するデータレイクを設計しています。さまざまな形式で届くこのデータを一貫してカタログ化し、データ アナリストが簡単に検出して利用できるようにする必要があります。また、ダウンストリームのアプリケーションがデータを利用する前に、基本的なデータ品質チェックと変換を実行したいと考えています。自動化されたマネージドなデータ ガバナンス ソリューションが必要です。どうすればよいですか?

選択肢と解説

  • 1
    Cloud Storage を中央リポジトリとして使用する。Vertex AI を使用してデータを分類・処理し、データ品質チェックを実行する。
  • 2
    すべてのデータを BigQuery に直接ストリーミングし、そこで自動的にカタログ化とガバナンスが行われるようにする。
  • ✓
    Cloud Storage と BigQuery をリポジトリとして使用する。メタデータの検出、データ品質チェック、変換には Dataplex Universal Catalog を使用する。
  • 4
    Cloud Storage を中央リポジトリとして使用する。Cloud Run functions の関数を使用して、データのカタログ化と変換、データ品質チェックを実行する。

解説

【正解】C

【0からの解説】
①前提知識:データレイクでは、形式の異なる生データ(JSON、CSV、Parquet、画像など)を Cloud Storage に、分析用に整えたデータを BigQuery に置く構成が一般的です。ただしデータを置くだけでは「どこに何があるか」「信頼できるデータか」が分からず、使われないデータの山になりがちです。そこで必要になるのがデータ ガバナンスの仕組みです。Dataplex Universal Catalog(現 Knowledge Catalog)は、Google Cloud のマネージドなデータ ガバナンス サービスで、次の機能を備えます。
・Cloud Storage と BigQuery のデータの自動検出とカタログ化(Cloud Storage 上のファイルからスキーマを推定してテーブルとして登録し、メタデータを一元管理)
・検索、ビジネス用語集、メタデータの拡充によるデータの見つけやすさの向上
・データ プロファイリングと自動データ品質スキャン(ルールを定義して品質を継続的に検証)
・データリネージ(データの由来と変換の追跡)
・レイク/ゾーンにひも付くタスク(サーバーレスの Spark)によるデータ処理・変換
②要件の整理:(1) 多様なソース・形式のデータを一貫してカタログ化、(2) アナリストが簡単に検出・利用できる、(3) 下流で使う前に基本的な品質チェックと変換、(4) 「自動化されたマネージドな」ガバナンス ソリューション。
③正解の理由:Cloud Storage(生データ)と BigQuery(整形済みデータ)をリポジトリにし、Dataplex Universal Catalog(現 Knowledge Catalog)でメタデータの自動検出・カタログ化・品質チェック・変換までを担わせれば、自前のコードを書かずにマネージド サービスで要件をすべて満たせます。

【誤りの選択肢】
A:Vertex AI(現 Gemini Enterprise Agent Platform)は機械学習モデルの開発・運用のためのプラットフォームで、データのカタログ化やデータ品質管理のためのガバナンス サービスではありません。目的に合わない製品を使うことになり、結局ほぼ自前で作り込むことになります。
B:BigQuery にはテーブルのメタデータ管理機能がありますが、さまざまな形式のデータをすべて BigQuery にストリーミングすれば「自動的にカタログ化され、ガバナンスされる」わけではありません。データ品質チェックや変換の仕組みも別途必要です。また画像などの非構造化データを含むレイク全体をストリーミングで取り込むのは費用と手間がかかり、データレイクの設計としても不適切です。
D:Cloud Run functions で独自にカタログ化・変換・品質チェックを実装すると、コードの開発・保守、メタデータを保持する仕組み、検索 UI などをすべて自前で用意する必要があります。「自動化されたマネージドなデータ ガバナンス ソリューション」という要件に反し、運用負荷が大きくなります。

【参考】
Knowledge Catalog の概要
Cloud Storage データを検出してカタログ化する | Knowledge Catalog
データ品質のプロファイリングと検証 | Knowledge Catalog
← 練習問題 2練習問題 4 →
GCP-PDE の模擬問題集は全 200 問

本番形式の練習テスト 4 回を、試験モード/演習モードで受験できます。 全問に解説付き、ドメイン別の弱点分析にも対応。模試プラン(月額 ¥980)からご利用いただけます。

GCP-PDE の模試を受ける料金プランを見る

GCP-PDE の無料公開問題

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8問題 9問題 10問題 11問題 12問題 13問題 14問題 15