50 GBのJSONをPandas Dataframeに処理する

Question

私は現在、次の方法でpandasデータフレームにロードしている6,000 JSONファイルを約50 GB持っています。 （各JSON行を読みながらformat_pandas機能は私パンダデータフレームを設定）：

path = '/Users/shabina.rayan/Desktop/Jupyter/Scandanavia Weather/Player Data' 
records = [] 
for filename in glob.glob(os.path.join(path, '*.JSON')): 
    file = Path(filename) 
    with open(file) as json_data: 
     j = json.load(json_data) 
     format_pandas(j) 
pandas_json = json.dumps(records) 
df = pd.read_json(pandas_json,orient="records") 

推測することができるように、これは私のデータを処理するために耐え難いほど長い時間がかかります。 50GBのJSONファイルを処理し、それを視覚化/分析することができる他の方法については、他に提案がありますか？

Answer 1

Elasticsearchにダンプし、必要に応じてクエリを実行します。