Spark 2.0：s3でディレクトリやファイルを一覧表示または削除する方法

Question

ファイルとディレクトリの一覧表示、ファイルとディレクトリの削除、ディレクトリの有無の確認などはspark 2.0シェルから直接行えますか？

私はos pythonライブラリを使用することができますが、s3ではなく、ローカルディレクトリだけを見ています。

私はこのことをも発見したが、私はそれが http://bigdatatech.taleia.software/2015/12/21/check-if-exists-a-amazon-s3-path-from-apache-spark/

ありがとうございますがhttp://s3tools.org/s3cmd-howto s3cmd使用することができます

Answer 1

を動作させることができない、のpythonの内側にそれを使用するためには、あなたがos.system使用する必要がありますかos.subprocess

一覧s3cmd LSをもう一度バケットは

~$ s3cmd ls 
    2007-01-19 01:41 s3://logix.cz-test 

番目にファイルをアップロード電子バケット

~$ s3cmd put addressbook.xml s3://logix.cz-test/addrbook.xml 
    File 'addressbook.xml' stored as s3://logix.cz-test/addrbook.xml (123456 bytes) 

もう一つのオプションはhttps://www.smore.com/labs/tinys3/

libにtinys3使用している別のオプションは、私は、スパークシェルからs3cmdツールを使用することができますどのようにsimples3 http://sendapatch.se/projects/simples3/

s = S3Bucket(bucket, access_key=access_key, secret_key=secret_key) 
print s 
<S3Bucket ... at 'https://s3.amazonaws.com/...'>