Azure Data Factory でデータパイプラインを構築する

• Azure Data Factory の基本概念(パイプライン、アクティビティ、リンクされたサービス、データセット)を理解する
• Copy Data アクティビティで SQL DB のテーブル間データコピーを構成する
• Web アクティビティを使って HTTP エンドポイントへのトリガー通知を行う
• Delete アクティビティで Blob Storage のファイル削除を構成する
• 成功・失敗の依存条件(Success / Failure / Completion / Skipped)でアクティビティの実行フローを設計する
• パイプラインの Validate と Debug で動作検証する

• Azure Portal の基本操作
• リレーショナルデータベースの基礎(テーブル、SQL)
• HTTP リクエストの基本概念
• Azure SQL Database または Blob Storage の利用経験(あると望ましい)

• Resource Group(rg- で始まる名前)
• Data Factory インスタンス(adf で始まる名前、V2)
• SQL Server + SQL Database(AdventureWorksLT Sample データ込み)
• Blob Storage アカウントと delete コンテナ
• Azure Portal 用一時ユーザ(Lab Credentials から取得)

完了条件

• Data Factory に名前 SQL DB の Copy Data アクティビティを含むパイプラインが作成されている
• Web / Delete / 失敗時 Web アクティビティが連携した状態でパイプラインが構成されている
• パイプラインの Validate でエラーがないこと
• Debug 実行で Copy Data と Delete が成功し、Web アクティビティが期待通り動作すること

1. Azure Portal にサインインして環境を確認

• ラボ画面の Lab Credentials セクションから URL / Username / Password を取得
• インコグニート(プライベート)ウィンドウで portal.azure.com にアクセス
• 提供された認証情報でサインイン

• 上部検索バーで resource groups を検索 → 既存のリソースグループを開く
• 以下のリソースが存在することを確認:
• Data Factory(adf で始まる)
• SQL Server(sqldbserver で始まる) + SQL Database(sqldb で始まる)
• Storage Account(blobs で始まる) + delete コンテナ

• SQL Database を開き、Server name と認証情報(Username / Password)をメモ
• これらは後の Linked Service 作成時に使用

• Azure Data Factory のドキュメント
• Copy アクティビティの概要
• Web アクティビティ
• Delete アクティビティ
• パイプラインのアクティビティ依存関係
• httpbin.org(テスト用 HTTP エンドポイント)