【正解】C
【0からの解説】
①前提知識:データレイクでは、形式の異なる生データ(JSON、CSV、Parquet、画像など)を Cloud Storage に、分析用に整えたデータを BigQuery に置く構成が一般的です。ただしデータを置くだけでは「どこに何があるか」「信頼できるデータか」が分からず、使われないデータの山になりがちです。そこで必要になるのがデータ ガバナンスの仕組みです。Dataplex Universal Catalog(現 Knowledge Catalog)は、Google Cloud のマネージドなデータ ガバナンス サービスで、次の機能を備えます。
・Cloud Storage と BigQuery のデータの自動検出とカタログ化(Cloud Storage 上のファイルからスキーマを推定してテーブルとして登録し、メタデータを一元管理)
・検索、ビジネス用語集、メタデータの拡充によるデータの見つけやすさの向上
・データ プロファイリングと自動データ品質スキャン(ルールを定義して品質を継続的に検証)
・データリネージ(データの由来と変換の追跡)
・レイク/ゾーンにひも付くタスク(サーバーレスの Spark)によるデータ処理・変換
②要件の整理:(1) 多様なソース・形式のデータを一貫してカタログ化、(2) アナリストが簡単に検出・利用できる、(3) 下流で使う前に基本的な品質チェックと変換、(4) 「自動化されたマネージドな」ガバナンス ソリューション。
③正解の理由:Cloud Storage(生データ)と BigQuery(整形済みデータ)をリポジトリにし、Dataplex Universal Catalog(現 Knowledge Catalog)でメタデータの自動検出・カタログ化・品質チェック・変換までを担わせれば、自前のコードを書かずにマネージド サービスで要件をすべて満たせます。
【誤りの選択肢】
A:Vertex AI(現 Gemini Enterprise Agent Platform)は機械学習モデルの開発・運用のためのプラットフォームで、データのカタログ化やデータ品質管理のためのガバナンス サービスではありません。目的に合わない製品を使うことになり、結局ほぼ自前で作り込むことになります。
B:BigQuery にはテーブルのメタデータ管理機能がありますが、さまざまな形式のデータをすべて BigQuery にストリーミングすれば「自動的にカタログ化され、ガバナンスされる」わけではありません。データ品質チェックや変換の仕組みも別途必要です。また画像などの非構造化データを含むレイク全体をストリーミングで取り込むのは費用と手間がかかり、データレイクの設計としても不適切です。
D:Cloud Run functions で独自にカタログ化・変換・品質チェックを実装すると、コードの開発・保守、メタデータを保持する仕組み、検索 UI などをすべて自前で用意する必要があります。「自動化されたマネージドなデータ ガバナンス ソリューション」という要件に反し、運用負荷が大きくなります。
【参考】
Knowledge Catalog の概要Cloud Storage データを検出してカタログ化する | Knowledge Catalogデータ品質のプロファイリングと検証 | Knowledge Catalog