Macで複数のファイルに.jsonファイルを分割

Question

私はMacで動作しており、100kを超える非常に大きな.jsonファイルを持っています。

私は、ファイルを複数のファイル（好ましくは50-100）に分割したいと考えています。

SOURCEファイル

は、元の.jsonファイルは、多次元配列であり、ビットのようになります。これは、3つのファイルに分割された場合

[{ 
    "id": 1, 
    "item_a": "this1", 
    "item_b": "that1" 
}, { 
    "id": 2, 
    "item_a": "this2", 
    "item_b": "that2" 
}, { 
    "id": 3, 
    "item_a": "this3", 
    "item_b": "that3" 
}, { 
    "id": 4, 
    "item_a": "this4", 
    "item_b": "that4" 
}, { 
    "id": 5, 
    "item_a": "this5", 
    "item_b": "that5" 
}] 

所望の出力

出力は次のようになります：

ファイル1：

[{ 
    "id": 1, 
    "item_a": "this1", 
    "item_b": "that1" 
}, { 
    "id": 2, 
    "item_a": "this2", 
    "item_b": "that2" 
}] 

ファイル2：

[{ 
    "id": 3, 
    "item_a": "this3", 
    "item_b": "that3" 
}, { 
    "id": 4, 
    "item_a": "this4", 
    "item_b": "that4" 
}] 

ファイル3：

[{ 
    "id": 5, 
    "item_a": "this5", 
    "item_b": "that5" 
}] 

任意のアイデアは、非常に高く評価されるだろう。ありがとうございました！救助へ

Answer 1

たPerl：chorobaの答え@

#!/usr/bin/perl 
use warnings; 
use strict; 

use JSON; 

my $file_count = 5; # You probably want 50 - 100 here. 

my $json_text = do { 
    local $/; 
    open my $IN, '<', '1.json' or die $!; 
    <$IN> 
}; 
my $arr = decode_json($json_text); 
my $size = @$arr/$file_count; 
my $rest = @$arr % $file_count; 

my $i = 1; 
while (@$arr) { 
    open my $OUT, '>', "file$i.json" or die $!; 
    my @chunk = splice @$arr, 0, $size; 
    ++$size if $i++ >= $file_count - $rest; 
    print {$OUT} encode_json(\@chunk); 
    close $OUT or die $!; 
} 

Answer 2

は非常に効果的かつ柔軟です。 私はjqのbashソリューションを持っています。

#!/bin/bash 
i=0 
file=0 
for f in `cat data.json | jq -c -M '.[]'`; 
do 

    if [ $i -eq 2 ]; then 

     ret=`jq --slurp "." /tmp/0.json /tmp/1.json > File$file.json`; 
     ret=`rm /tmp/0.json /tmp/1.json`; #cleanup 

     ((file = file + 1)); 
    i=0 
    fi 
    ret=`echo $f > /tmp/$i.json`; 
    ((i = i + 1)); 
done 
if [ -f /tmp/0.json ]; then 
    ret=`jq --slurp '.' /tmp/0.json > File$file.json`; 
    ret=`rm /tmp/0.json`; #cleanup 
fi 

Answer 3

$ cat tst.awk 
/{/ && (++numOpens % 2) { 
    if (++numOuts > 1) { 
     print out, "}]" 
     close(out) 
    } 
    out = "out" numOuts 
    $0 = "[{" 
} 
{ 
    # print > out 
    print out, $0 
} 

。

$ awk -f tst.awk file 
out1 [{ 
out1  "id": 1, 
out1  "item_a": "this1", 
out1  "item_b": "that1" 
out1 }, { 
out1  "id": 2, 
out1  "item_a": "this2", 
out1  "item_b": "that2" 
out1 }] 
out2 [{ 
out2  "id": 3, 
out2  "item_a": "this3", 
out2  "item_b": "that3" 
out2 }, { 
out2  "id": 4, 
out2  "item_a": "this4", 
out2  "item_b": "that4" 
out2 }] 
out3 [{ 
out3  "id": 5, 
out3  "item_a": "this5", 
out3  "item_b": "that5" 
out3 }] 

ちょうど print out, $0、あなたがテストした後にコメントを解除 # print > outを削除し、それに満足しています。