ダウンロードしないでs3バケットのファイルの内容を読む

Question

awsとs3にはかなり新しいので、何も試していないようです。ディレクトリとファイルを走査し、ファイルを読み込み、一般にアクセス可能なs3バケットから特定の行を取得したい：s3://cgl-rnaseq-recompute-fixed/ダウンロードすることなく。私はちょうどファイルの内容のgrep/catのような基本的なタスクを実行できるようにしたいです。

s3バケット上のすべてのファイルとフォルダからMYCNを含む行を取得できるはずです。

これを行う最も効率的な方法は何ですか？ R/Pythonにs3バケットを横断するのに役立つパッケージがありますか？

ありがとうございます！

Answer 1

http://boto.readthedocs.io/en/latest/s3_tut.html

conn = boto.s3.connection.S3Connection(
     aws_access_key_id='xxx', 
     aws_secret_access_key='yyy' 
) 
for key in conn.list(prefix='logs/*.log'): 
    print key