-4
{
"name": "16287e9cdf",
"width": 500,
"height": 325,
"width": 1024,
"height": 665
},
{
"name": "16287e9cdf",
"width": 500,
"height": 325,
"width": 1024,
"height": 665
}
次のようにjsonでこれらの値を再解析するには、Pythonの助けを借りて、Sparkで分析するのですか?レコードごとにjsonファイルを1行に再処理する方法は?
{"name": "16287e9cdf","width": 500,"height": 325,"width": 1024,"height": 665}
{"name": "16287e9cdf","width": 500,"height": 325,"width": 1024,"height": 665}
必要なもの:1.各{.......}は1行です。削除する "、"行間。
私はJsonファイルに2,000,000件のレコードを持っています。あなたがそうのようにそれを行うことができ、メモリにそれを読むことができれば....
:
次に、あなたがそうのようなのpythonでそれを処理することができますか? –
あなたのデータは有効なJSONではありません。これを確認するには、任意のJSONバリデータ(例:http://jsonlint.com/)を使用できます。有効なデータで処理する必要があります。 –
ファイルのサイズは? MB、GB?あなたは窓かLinuxか? – MYGz