は、Hadoopの

Question

私はHadoopの（2.7.3）と私のS3バケットにアクセスしようとしているとS3バケットにアクセスすることはできませんし、私はAWS @以下

のubuntuを取得しています：〜/プロトタイプ/のHadoopの$ Ubuntuの@ AWS：〜/プロトタイプ/ Hadoopの$ binに/のHadoopのfs -lsのS3： ネイティブHadoopのライブラリをロードすることができません：// [バケット]/

17/03/24午後03時33分31秒util.NativeCodeLoaderをWARNお使いのプラットフォーム用...組み込みJavaクラスを使用する 該当する場合 -ls：致命的な内部エラーcom.amazonaws.services.s3.model.AmazonS3Exception：ステータスコード：400、 AWSサービス：アマゾンS3、AWSリクエストID：1FA2318A386330C0、AWSエラー コード：ヌル、AWSのエラーメッセージ：不正な要求、S3に拡張されたリクエストID： 1S7Eq6s9YxUb9bPwyHP73clJvD619LZ2o0jE8VklMAA9jrKXPbvT7CG6nh0zeuluGrzybiPbgRQ = com.amazonaws.http.AmazonHttpClient.handleErrorResponse（AmazonHttpClientで。 Javaの：798） でcom.amazonaws.http.AmazonHttpClient.executeHelper（AmazonHttpClient.java:421） でcom.amazonaws.http.AmazonHttpClient.execute（AmazonHttpClient.java:232） com.amazonaws.servicesで.s3.AmazonS3Client.invoke（AmazonS3Client.java:3528） at com.amazonaws.services.s3.AmazonS3Client.headBucket（AmazonS3Client.java:103） 1） でcom.amazonaws.services.s3.AmazonS3Client.doesBucketExist（AmazonS3Client.java:994） でorg.apache.hadoop.fs.s3a.S3AFileSystem.initialize（S3AFileSystem.java:297） ORGで.apache.hadoop.fs.FileSystem.createFileSystem（FileSystem.java:2669） （org.apache.hadoop.fs.FileSystem.access）$ 200（FileSystem.java:94） org.apache.hadoop.fs.FileSystem $ Cache.getInternal（FileSystem.java:2703） at org.apache.hadoop.fs.FileSystem $ Cache.get（FileSystem.java:2685） at org.apache.hadoop.fs.FileSystem.get（FileSystem.java： 373）at org.apache.hadoop.fs.Path.getFileSystem（Path.java:295）at org.apache.hadoop.fs.shell.PathData.expan dAsGlob（PathData.java:325） at org.apache.hadoop.fs.shell.Command.expandArgument（Command.java:235） at org.apache.hadoop.fs.shell.Command.expandArguments（Command。 java：218） at org.apache.hadoop.fs.shell.Command.processRawArguments（Command.java:201） at org.apache.hadoop.fs.shell.Command.run（Command.java:165）at org.apache.hadoop.fs.FsShell.run（FsShell.java:287） org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:70） org.apache.hadoop.util.ToolRunner .run（ToolRunner.java:84）at org.apache.hadoop.fs.FsShell.main（FsShell.java:340） ubuntu @ AWS：〜/ Prototype/hadoop $

CONF-site.xmlを：

<configuration> 
    <property> 
     <name>fs.defaultFS</name> 
     <value>s3://[ Bucket ]</value> 
    </property> 

    <property> 
      <name>fs.s3a.endpoint</name> 
      <value>s3.eu-central-1.amazonaws.com</value> 
    </property> 

    <property> 
     <name>fs.s3a.access.key</name> 
     <value>[ Access Key Id ]</value> 
    </property> 

    <property> 
     <name>fs.s3a.secret.key</name> 
     <value>[ Secret Access Key ]</value> 
    </property> 

    <property> 
     <name>fs.s3.awsAccessKeyId</name> 
     <value>[ Access Key Id ]</value> 
    </property> 

    <property> 
     <name>fs.s3.awsSecretAccessKey</name> 
     <value>[ Secret Access Key ]</value> 
    </property> 

    <property> 
     <name>fs.s3n.awsAccessKeyId</name> 
     <value>[ Access Key Id ]</value> 
    </property> 

    <property> 
     <name>fs.s3n.awsSecretAccessKey</name> 
     <value>[ Secret Access Key ]</value> 
    </property> 

    <property> 
     <name>fs.s3.impl</name> 
     <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value> 
    </property> 

    <!-- Comma separated list of local directories used to buffer 
     large results prior to transmitting them to S3. --> 
    <property> 
     <name>fs.s3.buffer.dir</name> 
     <value>/tmp</value> 
    </property> 
</configuration> 

誰もが問題だ知っていますか？

編集：バケットとそれにアクセスするVMはフランクフルトにあります。 https://docs.hortonworks.com/HDPDocuments/HDCloudAWS/HDCloudAWS-1.8.0/bk_hdcloud-aws/content/s3-trouble/index.htmlと似ているようですが、エンドポイントを追加してもまだ動作しません。

Answer 1

fs.s3aであるV4認証の問題のように聞こえます。エンドポイントのプロパティが固定されている必要があります

クロックの問題も問題を引き起こす可能性があります。ジョーダの時間をチェックし、今週の時計の変更ですべてのマシンが追いついていることを確認してください。

また、Hadoop 2.8.0 RC3を掴んで問題が解決したかどうかを確認してください。それがまだ残っていれば、それはApacheのリストで助けを求めるバージョンです。