503 s3-cp-distでemrでスローダウン

Question

私の "ローカル" hdfs（Amazon弾性マップリダクション）から分割パーケットファイルをコピーしようとしました。私はいつも同じエラーがあります。

私は `` `

s3-dist-cp --src /myparquet --dest s3a://mys3path.com/mydest 

` ``

を実行したときに、私はこの

`` `

17/07/10 20:42:57 INFO mapreduce.Job: map 0% reduce 0% 
17/07/10 20:43:06 INFO mapreduce.Job: map 100% reduce 0% 
17/07/10 20:43:17 INFO mapreduce.Job: map 100% reduce 5% 
17/07/10 20:43:18 INFO mapreduce.Job: map 100% reduce 6% 
17/07/10 20:43:19 INFO mapreduce.Job: map 100% reduce 7% 
17/07/10 20:43:20 INFO mapreduce.Job: map 100% reduce 9% 
17/07/10 20:43:21 INFO mapreduce.Job: map 100% reduce 11% 
17/07/10 20:43:22 INFO mapreduce.Job: map 100% reduce 14% 
17/07/10 20:43:23 INFO mapreduce.Job: map 100% reduce 16% 
17/07/10 20:43:24 INFO mapreduce.Job: map 100% reduce 18% 
17/07/10 20:43:25 INFO mapreduce.Job: map 100% reduce 21% 
17/07/10 20:43:26 INFO mapreduce.Job: map 100% reduce 23% 
17/07/10 20:43:27 INFO mapreduce.Job: map 100% reduce 25% 
17/07/10 20:43:28 INFO mapreduce.Job: map 100% reduce 27% 
17/07/10 20:43:29 INFO mapreduce.Job: map 100% reduce 29% 
17/07/10 20:43:30 INFO mapreduce.Job: map 100% reduce 31% 
17/07/10 20:43:31 INFO mapreduce.Job: map 100% reduce 33% 
17/07/10 20:43:32 INFO mapreduce.Job: map 100% reduce 35% 
17/07/10 20:43:33 INFO mapreduce.Job: map 100% reduce 38% 
17/07/10 20:43:34 INFO mapreduce.Job: map 100% reduce 40% 
17/07/10 20:43:35 INFO mapreduce.Job: map 100% reduce 42% 
17/07/10 20:43:36 INFO mapreduce.Job: map 100% reduce 44% 
17/07/10 20:43:37 INFO mapreduce.Job: map 100% reduce 46% 
17/07/10 20:43:38 INFO mapreduce.Job: map 100% reduce 48% 
17/07/10 20:43:39 INFO mapreduce.Job: map 100% reduce 50% 
17/07/10 20:43:40 INFO mapreduce.Job: map 100% reduce 52% 
17/07/10 20:43:41 INFO mapreduce.Job: map 100% reduce 55% 
17/07/10 20:43:42 INFO mapreduce.Job: map 100% reduce 57% 
17/07/10 20:43:43 INFO mapreduce.Job: map 100% reduce 59% 
17/07/10 20:43:44 INFO mapreduce.Job: map 100% reduce 61% 
17/07/10 20:43:45 INFO mapreduce.Job: map 100% reduce 63% 
17/07/10 20:43:46 INFO mapreduce.Job: map 100% reduce 65% 
17/07/10 20:43:47 INFO mapreduce.Job: map 100% reduce 67% 
17/07/10 20:44:22 INFO mapreduce.Job: map 100% reduce 68% 
17/07/10 20:44:55 INFO mapreduce.Job: Task Id : attempt_1499714528879_0003_r_000122_0, Status : FAILED 
Error: com.amazonaws.services.s3.model.AmazonS3Exception: Slow Down (Service: Amazon S3; Status Code: 503; Error Code: 503 Slow Down; Request ID: 52A8AF1F5C2D0A04 

` ``

マイ取得クラスタ共同nfigurationはそれを修正するためにいくつかの方法がある `` `

--instance-groups \ 
InstanceGroupType=MASTER,InstanceCount=1,InstanceType=r3.8xlarge,BidPrice=5.0 \ 
InstanceGroupType=CORE,InstanceCount=20,InstanceType=r3.8xlarge,BidPrice=5.0 

` ``

のですか？

Answer 1

これはあなたのリクエストとApache S3Aクライアントがそれを認識しておらず、代わりに適切な（待機中と再試行中）代わりに、少なくともaug1,20170のAWSです。[将来の読者：HADOOP-14381現在固定されている場合）。

s3-dist-cpを使用している場合、これは作業しているamazonライブラリです。送信先URLをs3://mys3path.com/mydestに切り替えて、データを書き込むために使用されているApacheのS3クライアントではなく、AmazonのS3クライアントを確認してください。