AzCopy で Storage Account 間データ転送

このラボでは、ストレージ管理者の想定で、データ サイエンス部門の依頼を受けて旧 Storage(汎用 v2)から ADLS Gen 2 (Hierarchical Namespace 有効)へデータを移行します。Cloud Shell + AzCopy + SAS トークンの組み合わせで、コードを書かずに大量ファイルを高速転送する 業務シナリオを体験します。

学習目標:

• Cloud Shell で 100 個のテキストファイルをループで生成する
• az storage account keys list で Storage Account のキーを取得する
• az storage container generate-sas --auth-mode login --as-user で委任 SAS トークンを発行する
• AzCopy で「ローカル → stor1 コンテナー」「stor1 → stor2 コンテナー」を転送する
• ADLS Gen 2(Hierarchical Namespace)Storage Account の特性を理解する

• Azure Portal の基本操作
• bash の基本コマンド(for ループ、変数)
• Storage Account / Container / Blob の概念

• Storage Account 1(stor1*)に Container container1 が作成され、100 ファイルがアップロードされていること
• Storage Account 2(stor2*、Hierarchical Namespace 有効)に Container container2 が作成され、100 ファイルが転送されていること
• 両 Container でファイル数が一致すること

• AzCopy のドキュメント
• SAS トークンの概要
• Azure Data Lake Storage Gen2 の概要
• az storage container generate-sas コマンドリファレンス
• Storage Blob Data Contributor ロール