Pythonで膨大な数のjsonファイルを読み込んでいますか？

Question

これは大規模なJSONファイルを読み込むことではなく、大量のJSONファイルを最も効率的に読み込むことです。

質問

私はMillion song datasetからlast.fmデータセットで働いています。 データは、キーがtrack_id、artist、title、timestamp、similars、およびtagsの場合にJSONでエンコードされたテキストファイルのセットとして利用できます。 hereを示すように、現在、私はこのようにいくつかのオプションを経て、次の方法でパンダにそれらを読んでいる

が最速である：

import os 
import pandas as pd 
try: 
    import ujson as json 
except ImportError: 
    try: 
     import simplejson as json 
    except ImportError: 
     import json 


# Path to the dataset 
path = "../lastfm_train/" 

# Getting list of all json files in dataset 
all_files = [os.path.join(root,file) for root, dirs, files in os.walk(path) for file in files if file.endswith('.json')] 

data_list=[json.load(open(file)) for file in all_files] 
df = pd.DataFrame(data_list, columns=['similars', 'track_id']) 
df.set_index('track_id', inplace=True) 

現在の方法は、サブセットを読み込み（完全なデータセットの1％ 1秒未満で）。しかし、完全な列車セットを読むのは遅すぎるので、読むのにはずっと時間がかかります（私は数時間も待っています）、question hereのようなさらなる仕事のためのボトルネックになっています。

私はまた、発電機の理解の代わりに、リストの内包を使うthis question here

UPDATE 1 から明らかに見ることができますJSONファイルを解析するにはスピードのためにujsonを使用しています。

data_list=(json.load(open(file)) for file in all_files) 

Answer 1

私はあなたが欲しいファイルのイテレータとちょうどyield 2つの列を構築します。

次に、そのイテレータでDataFrameをインスタンス化できます。

import os 
import json 
import pandas as pd 

# Path to the dataset 
path = "../lastfm_train/" 

def data_iterator(path): 
    for root, dirs, files in os.walk(path): 
     for f in files: 
      if f.endswith('.json'): 
       fp = os.path.join(root,f) 
       with open(fp) as o: 
        data = json.load(o) 
       yield {"similars" : data["similars"], "track_id": data["track_id"]} 


df = pd.DataFrame(data_iterator(path)) 
df.set_index('track_id', inplace=True) 

あなたは一度だけあなたのファイルリストの上に移動し、データセットに複数のIO操作を実行しなければならない場合は、前とDataFrame

Answer 2

にそれを通過した後のデータを複製しません。この方法では、なぜだけでなく、 .jsonファイルをより高速なIO形式に変換しますか？あなたのデータセットの合計サイズが2.5Gであれば、標準的なMacBookでも.csvファイルとして保存されていても、読み込むのに1分以上かかることはありません。

たとえば、pandas 0.20の新機能は.featherの形式です。パンダの著者からの説明は、hereを参照してください。私は標準的なdevのmacbookの私自身のテストでは、私は約1秒で1Gbファイルを読んだ。

もう1つノート：ファンクションのfeather.read_dataを使用することをおすすめします。これは、パンダバージョンではまだ列のサブセットを読み取ることができないためです。あなたはフェザーhereをダウンロードするか、pip install featherを使用してください。