S3 StreamingBodyからnpyファイルを直接読み取る

Question

s3に多数の.npy（numpy）と.jsonファイルが保存されていますので、これらのファイルをダウンロードして読み込む必要があります。 JSONファイル私は、ファイルをダウンロードし、次のコードを使用して辞書にロードしていますについては

：

obj = s3.Object(bucket, key) 
response = obj.get() 
body = response['Body'].read().decode('utf-8') 
data = json.loads(body) 

そのように私は、ディスクへの.jsonファイルを書き込み、それを読んで避けます。

今、同じことを.npyファイルに対して実行したいのですが、これと同等のものは何ですか？

現在、ファイルをダウンロードしてディスク上の一時ファイルに保存し、np.loadをロードしていますが、できるだけ避けたいと考えています。

Answer 1

https://stackoverflow.com/a/28196540/3509999次のとおりです。

obj = s3.Object(bucket, key) 
with io.BytesIO(obj.get()["Body"].read()) as f: 
    # rewind the file 
    f.seek(0) 
    arr = np.load(f)