ラボ概要
このラボでは、Amazon S3 に置いた CSV データを AWS Glue Studio のビジュアル ETL ジョブで読み取り、Amazon Redshift（プロビジョンド・ra3.large 2ノード）のテーブルへロードします。S3・IAM ロール・Redshift クラスター・Glue 接続・Glue ジョブを自分の手で順番に組み立て、サーバーレス ETL の基本パターンを体験します。
Glue は Redshift へ書き込む際、内部で S3 を経由して COPY コマンドでロードします。そのため「Glue が読み書きする S3 ステージング領域」と「Redshift がそのステージング領域を読むための IAM ロール」が必要になります。本ラボではここまで含めて構成します。
学習目標
- S3 にデータレイクの入力データ（CSV）とステージング用フォルダを配置する
- Glue が S3 と Redshift にアクセスするための IAM ロールを作成する
- Redshift が S3 ステージング領域を読み書きするための IAM ロールを作成する
- Amazon Redshift プロビジョンドクラスター（ra3.large・2ノード）を作成する
- Glue から Redshift へ接続する「接続（Connection）」を VPC 内に構成する
- Glue Studio のビジュアル ETL ジョブで S3 → Redshift のロードを実行し、結果を確認する
前提
- フェデレーションコンソールに
cloud_userで既にサインインしています（追加のサインイン不要）。 - すべての操作は東京リージョン（ap-northeast-1）で行います。IAM のみグローバルサービスです。
- 既定の VPC（default VPC）とそのサブネットを利用します。
ラボの構成
- 1S3 バケットを作成して入力データとステージング領域を置く
- 2Glue 用の IAM ロールを作成する
- 3Redshift 用の IAM ロールを作成する
- 4Amazon Redshift クラスターを作成する
- 5Redshift にロード先テーブルを作成する
- 6セキュリティグループ・S3 用 VPC エンドポイント・Glue 接続（Connection）を構成する
- 7Glue Studio のビジュアル ETL ジョブを作る
- 8ジョブを実行してロードする
- 9動作確認
- 10完了チェックリスト
- 11後片付け
詳細な手順は、ラボ開始後に画面内のガイドとして表示されます。
構成図
参考リソース
参考リンク
- AWS Glue ドキュメント — サーバーレス ETL とビジュアルジョブ（Glue Studio）の公式ガイド
- Amazon Redshift ドキュメント — プロビジョンドクラスターの作成・運用とクエリエディタ v2 の解説
- Amazon S3 ドキュメント — バケット・フォルダ作成とオブジェクトのアップロード手順
- AWS IAM ドキュメント — サービスロールの作成と PassRole など権限設定の基礎
- Amazon VPC ドキュメント — セキュリティグループと自己参照ルールによる VPC 内通信の許可