csvファイルをダウンロードしているPythonリクエストストリームからデータフレームをロードする方法はありますか？

Question

私はストリーミング経由で取得するcsvファイルからデータフレームを作成したいと思います：

import requests 

url = "https://{0}:8443/gateway/default/webhdfs/v1/{1}?op=OPEN".format(host, filepath) 

r = requests.get(url, 
       auth=(username, password), 
       verify=False, 
       allow_redirects=True, 
       stream=True) 

chunk_size = 1024 
for chunk in r.iter_content(chunk_size): 
    # how to load the data 

データをHTTPストリームからスパークにロードすることができますか？

データの取得にHDFS形式を使用することはできません.WebHDFSを使用する必要があります。

Answer 1

チャンク境界のRDDをあらかじめ生成してから、ワーカー内部のファイルを処理するために使用できます。例：

def process(start, finish): 
    // Download file 
    // Process downloaded content in range [start, finish) 
    // Return a list of item 

partition_size = file_size/num_partition 
boundaries = [(i, i+paritition_size - 1) for i in range(0, file_size, partition_size)] 
rrd = sc.parallelize(boundaries).flatMap(process) 
df = sqlContext.createDataFrame(rrd)