Azure CLI：ファイルを並列にアップロードするためのbashスクリプト

Question

BLOBストレージにファイルをパラレルにアップロードするAzure CLIアップロードオプションはありますか？たくさんのファイルがあるフォルダがあります。現在私が持っている唯一のオプションは、以下のコマンドでforループを行い、アップロードが順番に行われることです。

az storage blob upload --file $f --container-name $CONTAINERNAME --name $FILEINFO 

Answer 1

今のところそれはできません。 Azure CLI 2.0では、指定されたディレクトリの内容をBlobストレージに再帰的にアップロードするオプションまたは引数はありません。したがって、Azure CLi 2.0はアップロードファイルを並行してサポートしていません。

複数のファイルを並行してアップロードする場合は、Azcopyを使用できます。オプションを指定

AzCopy /Source:C:\myfolder /Dest:https://myaccount.blob.core.windows.net/mycontainer /DestKey:key /S 

/Sは、すべてのサブフォルダとそのファイルが同様にアップロードされることを意味し、再帰的にストレージをBLOBに指定されたディレクトリの内容をアップロードします。

前述のとおり、ループを使用してファイルをアップロードできますが、ファイルを並行してアップロードすることはできません。次のスクリプトを試してください。

export AZURE_STORAGE_ACCOUNT='PUT_YOUR_STORAGE_ACCOUNT_HERE' 
export AZURE_STORAGE_ACCESS_KEY='PUT_YOUR_ACCESS_KEY_HERE' 

export container_name='nyc-tlc-sf' 
export source_folder='/Volumes/MacintoshDisk02/Data/Misc/NYC_TLC/yellow/2012/*' 
export destination_folder='yellow/2012/' 

#echo "Creating container..." 
#azure storage container create $container_name 

for f in $source_folder 
do 
    echo "Uploading $f file..." 
    azure storage blob upload $f $container_name $destination_folder$(basename $f) 
done 

echo "List all blobs in container..." 
azure storage blob list $container_name 

echo "Completed"