Amazon S3からパブリックデータセットをコピー

Question

私はオープンソースプロジェクトでAWS（https://aws.amazon.com/datasets）のパブリックデータセットを分析しています。

パブリックデータセットをローカルマシンにコピーして解析する必要があります。アマゾンのデータセットをローカルマシンにコピーするにはどうしたらいいですか？

Answer 1

この質問に対する答えは1つではなく、それぞれのデータセットによって異なります。

データセットは、NASA NEX datasetsのようにs3から入手できるため、必要に応じてs3バケットからダウンロードできます。

多くのデータセットも、ボリュームスナップショットから直接利用できます。あなたが与えられたスナップショットから新しいボリュームをマウントする必要があるような場合には、例えばあなたが、多くの場合Wikipedia Page Traffic Statistic V3

localmachine $ ec2-create-volume --snapshot snap-f57dec9a -z us-east-1a localmachine $ ec2-attach-volume vol-ec123456 -i i-df123456 -d /dev/sdf root@domU-XX-XX-XX-XX-XX-XX:/mnt# mkdir /mnt/wikidata root@domU-XX-XX-XX-XX-XX-XX:/mnt# mount /dev/sdf /mnt/wikidata 

をマウントすることができ、アマゾンは、データセットのソースを示し、あなたがリンクをたどるとのそれぞれにすることができますそれらのソースから、指定されたデータセットをダウンロードすることもできます。