2017-03-20 7 views
2

データフレームがあり、mydirectoryというs3ディレクトリ内にCSVとして結果を保存したいとします: s3n:// bucket/home/mydirectory/result.csvs3にpysparkデータフレームを書き込む - o135.jsonを呼び出す際にエラーが発生しました

mydirectoryには、私は読み書きする権利があります。

私はこのエラーを持っているが:ここ

File "C:\Users\rubeno\Documents\spark-2.1.0-bin-hadoop2.7\python\lib\py4j-0.10.4-src.zip\py4j\protocol.py", line 319, in get_return_value 
py4j.protocol.Py4JJavaError: An error occurred while calling o135.json. 
: org.apache.hadoop.security.AccessControlException: Permission denied: s3n://bucket/home 

はfs.s3.enableServerSideEncryptionがある場合のdf program_watched_by_set_of_boxに

program_watched_by_set_of_box.write.save(path='s3n://bucket/home/mydirectory/result.csv', 
         format='com.databricks.spark.csv', 
         header='false', 
         nullValue='null', 
         mode='overwrite') 

Thxを

答えて

1

チェックEMRの設定を記述して保存するための私のコードですTrueに設定します。以下のオプションを設定することができますemr create-custer

--configurations '[{"Classification":"emrfs-site","Properties":{"fs.s3.enableServerSideEncryption":"true"},"Configurations":[]}]' 
関連する問題