模擬問題集DEA-C01練習問題 3

DEA-C01 練習問題 3

AWS Data Engineer – Associate・データ運用とサポート・無料公開(全 200 問中 15 問を無料公開中)

問題
ある企業は、AWS Glue の Apache Spark ジョブを使用して抽出・変換・ロード(ETL)ワークロードを処理しています。同社はすべての AWS Glue ジョブでロギングとモニタリングを有効にしています。 AWS Glue ジョブの 1 つが失敗し始めました。データエンジニアはエラーを調査しており、ジョブ内のすべての個別ステージのメトリクスを確認したいと考えています。 データエンジニアはどのようにしてステージメトリクスにアクセスできますか?

選択肢と解説

  • Spark UI で AWS Glue のジョブおよびステージの詳細を確認する。
  • 2
    Amazon CloudWatch で AWS Glue のジョブおよびステージのメトリクスを確認する。
  • 3
    AWS CloudTrail ログで AWS Glue のジョブおよびステージのログを確認する。
  • 4
    ジョブの run insights(実行インサイト)機能を使用して AWS Glue のジョブおよびステージの詳細を確認する。

解説

【正解】A

【0からの解説】
AWS Glue の Spark ジョブは内部的に Apache Spark のエンジンで動いており、Spark のジョブは「ジョブ → ステージ → タスク」という階層で実行されます。各ステージ(シャッフルや集計などの単位)ごとの所要時間・入出力レコード数・データ量・タスクの分布といった詳細を可視化する公式ツールが Spark UI です。AWS Glue では Spark UI を有効化すると、ジョブ実行のイベントログが S3 に出力され、それを Spark History Server で開くことで「ジョブとステージの詳細メトリクス」をステージ単位で確認できます。スキューの特定や遅いステージのボトルネック分析にまさに使う機能なので、本問の「すべての個別ステージのメトリクスを確認したい」に直接合致するのは A です。

【誤りの選択肢】
B:Amazon CloudWatch には Glue ジョブ全体のメトリクス(ドライバー/エグゼキューターの CPU・メモリ、シャッフルバイト数など)は出ますが、これはジョブ全体や時系列の集約メトリクスであり、「Spark のステージ単位」の粒度でステージごとに分解して見る用途には Spark UI が適します。
C:AWS CloudTrail は AWS API 呼び出し(誰がいつどの操作をしたか)の監査ログを記録するサービスで、Spark のステージ実行メトリクスは記録しません。
D:Glue の job run insights は、エラーの根本原因の特定やリトライ・例外の要約といったトラブルシュート支援を行う機能で、エラー診断には有用ですが、本問が求める「すべての個別ステージのメトリクス」をステージ単位で網羅的に見る用途には Spark UI が適しています。

【参考】
AWS Glue ジョブの Apache Spark UI でのモニタリング
AWS Glue のモニタリング
← 練習問題 2練習問題 4
DEA-C01 の模擬問題集は全 200

本番形式の練習テスト 4 回を、試験モード/演習モードで受験できます。 全問に解説付き、ドメイン別の弱点分析にも対応。模試プラン(月額 ¥980)からご利用いただけます。

DEA-C01 の模試を受ける料金プランを見る

DEA-C01 の無料公開問題

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8問題 9問題 10問題 11問題 12問題 13問題 14問題 15