HadoopConfigurationのプロパティ

Question

私のSparkコードでは、AWS-S3にアクセスするためにHadoopConfigurationでACCESS_KEYとSECRET_KEYを設定する必要があります。インターネット上で、これらのプロパティを設定する方法は複数ありました。

スタイル＃1、

sc.hadoopConfiguration.set("fs.s3n.access.key", AWS_ACCESS_KEY) 
sc.hadoopConfiguration.set("fs.s3n.secret.key", AWS_SECRET_KEY) 

スタイル＃2、上記の構文で

sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", AWS_ACCESS_KEY) 
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", AWS_SECRET_KEY) 

、スタイル＃1（fs.s3n.access.key）でありますNOTスタイル2（fs.s3n.awsAccessKeyId）が動作しています。 e。 スタイル＃1は、どのハープのバージョンに固有のものか、ハイドープの設定でサポートされていないのですか？

spark、aws、hive、s3などに関連する可能性のあるHadoopConfigurationプロパティはすべてどこにありますか？

Answer 1

access.keyおよびsecret.keyは、s3aコネクタで使用されます。 AFAIR、s3nスキームは常にawsAccessKeyId/awsSecretAccessKeyスタイルを使用しています。

設定の参照は、設定パラメータ名を確認する最善の方法であるofficial hadoop documentationまたはsource codeを参照してください。