2
s3から自分のローカルマシンにファイル(.csv)をコピーするにはs3 cpを使います。ファイルは大きく、最初の10000行または5MBのファイルをコピーするしか方法がないのだろうかと思います。awscli:s3からローカルへのファイルの一部のみをコピーする
s3から自分のローカルマシンにファイル(.csv)をコピーするにはs3 cpを使います。ファイルは大きく、最初の10000行または5MBのファイルをコピーするしか方法がないのだろうかと思います。awscli:s3からローカルへのファイルの一部のみをコピーする
あなたはを使用することができますがを得る範囲であった:
aws s3api get-object --bucket my-bucket --key foo --range bytes=1-10 output.txt
その内容の解釈を必要とするため、あなたはバイト数ではなく、行数を指定することができます。
私はAWS cliを広く使用しています。
aws s3 cp s3://bucket/large_file.tar.gz | gunzip -cd | head -n 10000 > first_10000.csv
ありがとうございます! '--range'はあなたのcmd行に2回表示されます。私はそれが一度だけ必要と思われると思った?試しに行く – Camuslu