Azure Data Factory でデータパイプラインを構築する

• Azure Data Factory の基本概念(パイプライン、アクティビティ、リンクされたサービス、データセット)を理解する
• Copy Data アクティビティで SQL DB のテーブル間データコピーを構成する
• Web アクティビティを使って HTTP エンドポイントへのトリガー通知を行う
• Delete アクティビティで Blob Storage のファイル削除を構成する
• 成功・失敗の依存条件(Success / Failure / Completion / Skipped)でアクティビティの実行フローを設計する
• パイプラインの Validate と Debug で動作検証する

• Azure Portal の基本操作
• リレーショナルデータベースの基礎(テーブル、SQL)
• HTTP リクエストの基本概念
• Azure SQL Database または Blob Storage の利用経験(あると望ましい)

• Resource Group(rg- で始まる名前)
• Data Factory インスタンス(adf で始まる名前、V2)
• SQL Server + SQL Database(AdventureWorksLT Sample データ込み)
• Blob Storage アカウントと delete コンテナ
• Azure Portal 用一時ユーザ(Lab Credentials から取得)

完了条件

• Data Factory に名前 SQL DB の Copy Data アクティビティを含むパイプラインが作成されている
• Web / Delete / 失敗時 Web アクティビティが連携した状態でパイプラインが構成されている
• パイプラインの Validate でエラーがないこと
• Debug 実行で Copy Data と Delete が成功し、Web アクティビティが期待通り動作すること

• Azure Data Factory のドキュメント
• Copy アクティビティの概要
• Web アクティビティ
• Delete アクティビティ
• パイプラインのアクティビティ依存関係
• httpbin.org(テスト用 HTTP エンドポイント)