S3バケット名がS3エンドポイントに追加される

Scalaを使用してS3バケットからファイルにアクセスしようとすると、バケット名がエンドポイントの前面に追加され、エンドポイントが間違ってアクセス不能になります。S3バケット名がS3エンドポイントに追加される

図書館：

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0" 
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.0.0" 
libraryDependencies += "org.apache.hadoop" % "hadoop-aws" % "2.8.0"

コード：S3がインストールされているサーバー上で行わ一切の仮想ホストの設定がないよう

sc.hadoopConfiguration.set("fs.s3a.endpoint", "[endpoint]") 
sc.textFile("s3a://[bucket_name]/testa.txt")

出典

2017-04-07 Melon

あなたの「エンドポイント」は 's3 [-region] .amazonaws.com'ではありませんか？ –

いいえ、カスタムエンドポイントで、* .amazonaws.comではありません。 – Melon

だから、実際にはS3ではなく、S3と互換性がありますか？ –

path style URLsを有効にするには、問題を解決します。 fs.s3a.path.style.access（docs）をtrueに設定すると、パススタイルのURLを有効にすることができます。

出典

2017-04-08 18:52:54 Melon

S3バケット名がS3エンドポイントに追加される

答えて

関連する問題