スキーマを知らずに非常に大きなJSONファイルをロードしていますか？

Question

非常に大きなJSONファイルをPythonで読み込もうとしています。私は試しました：

import json 
data = open('file.json').read() 
loaded = json.loads(data) 

しかし、それは私にSIGKILLエラーを与えます。

私が試してみた：

import pandas as pd 
df = pd.read_json('file.json') 

を、私はメモリ不足のエラーが発生します。

ijsonを使用してデータをストリーミングし、サブセットを一度に取り出すことを試みたいと思います。ただし、JSONファイルのスキーマがどのようなイベントであるかを知る必要があります。実際にJSONファイルのスキーマがわからない。だから、私は2つの質問がある：

1. は、スキーマを知らなくてもPythonで大きなJSONファイルを読み込むか、ストリームする方法はありますか？ JSONファイルを別の形式に変換する方法（または、たとえばpostgresqlサーバーに変換する方法）

2. 私のJSONファイルのスキーマを吐くためのツールがありますか？

UPDATE：

は私のJSONファイルがどのように見えるかのアイデアを得るためにhead file.jsonを使用します。そこから少し楽です。

Answer 1

私はファイルの小さな部分を扱います。 Lazy Method for Reading Big File in Python?をご覧ください。提案された答えをJSONオブジェクトをオブジェクト別に解析するために適応することができます。

Answer 2

あなたはチャンクで読み取ることができ、ラインオプション データ= [] Fとしてオープン（ 'ファイル'）との することにより、この

f=open("file.json") 
while True: 
    data = f.read(1024) 
    if not data: 
     break 
    yield data 

ラインのようなもの： Fの行のため： data.append （json.loads（ライン））

はまたjsonline

0123でより多くの答えを https://www.dataquest.io/blog/python-json-tutorial/

ルックを見て