AzureブロブストレージからS3にデータを効率的にコピー

Question

AzureストレージからS3まで〜100万ファイルを移動したいと考えています。私はAzure python sdkとboto3を使ってこのpythonスクリプトを書いた。

marker = None 
while True: 
    batch = azure_blob_service.list_blobs(
     container, marker=marker) 
    # copy blobs in batches 
    for blob in batch: 
     blob_name = blob.name 
     current_blob = azure_blob_service.get_blob_to_bytes(
      copy_from_container, blob_name) 
     s3_client.put_object(
      Body=current_blob.content, 
      Bucket=s3_bucket, 
      ContentType=current_blob.properties.content_settings.content_type, 
      Key=blob_name) 
    if not batch.next_marker: 
     break 
    marker = batch.next_marker 

しかし、これは遅いです。

azureからS3にデータを効率的に移動するにはどうすればよいですか？

Answer 1

S3は、AzureストレージからS3にデータを移動するために、AzureストレージからブロブをダウンロードしてS3に戻す必要があります。これは、多くのデータをダウンロードしてアップロードする際に、インターネットの速度が影響する場所です。

プロセス全体のスピードを上げたい場合は、このスクリプトをAmazonのVM（理想的にはS3アカウントと同じ地域）内のVMで実行する方法があります。そうすれば、あなたはもっと速くダウンロードすることができます（Amazonはあなたが現在持っているものよりも優れたインターネット速度を提供していると仮定します）。そして、同じ地域にアップロードするだけでなく、速くアップロードします。