Javaで大規模なJSONファイルを読み込むための高速で効率的な方法

Question

JSONファイルには100万のレコードがありますが、javaのJSONファイルから配列の配列を読み取る効率的で最速のメソッドが必要です。

JSONファイルを見てのような：

[["XYZ",...,"ABC"],["XYZ",...,"ABC"],["XYZ",...,"ABC"],...,["XYZ",...,"ABC"], 
["XYZ",...,"ABC"],["XYZ",...,"ABC"],["XYZ",...,"ABC"],...,["XYZ",...,"ABC"], 
... 
... 
... 
,["XYZ",...,"ABC"],["XYZ",...,"ABC"],["XYZ",...,"ABC"]] 

として、私はラインでこのJSONファイルの行を読みたい：

が最初にお読みください。その後、

["XYZ",...,"ABC"] 

：

["XYZ",...,"ABC"] 

ように：」

... 
... 
... 
["XYZ",...,"ABC"] 

私はこのようなJSONファイルを読んでください、私は知っている、それは完全にJSONファイルのように見えていないが、私は.JSON

として保存され、この形式でこのファイルを読む必要がどのように https://www.ngdata.com/parsing-a-large-json-file-efficiently-and-easily/

をして、この - - ジャクソンストリーミングAPIに見てみてください

Answer 1

あなたはストリーミング方式でデータを処理するために、JSON Processing API (JSR 353)を使用することができます。

import javax.json.Json; 
import javax.json.stream.JsonParser; 

... 

String dataPath = "data.json"; 

try(JsonParser parser = Json.createParser(new FileReader(dataPath))) { 
    List<String> row = new ArrayList<>(); 

    while(parser.hasNext()) { 
     JsonParser.Event event = parser.next(); 
     switch(event) { 
      case START_ARRAY: 
       continue; 
      case VALUE_STRING: 
       row.add(parser.getString()); 
       break; 
      case END_ARRAY: 
       if(!row.isEmpty()) { 
        //Do something with the current row of data 
        System.out.println(row); 

        //Reset it (prepare for the new row) 
        row.clear(); 
       } 
       break; 
      default: 
       throw new IllegalStateException("Unexpected JSON event: " + event); 
     } 
    } 
} 

Answer 2

、

は、私はあなたがこのような何かを探していると思いますhttps://stackoverflow.com/a/24838392/814304

主なもの - 大きなファイルがある場合は、ファイルを読み込み、処理する必要があります。

Answer 3

あなたはJsonPathにより、すべての内部JSON配列を抽出するためにJsonSurferを使用することができます：$ [*]

JsonSurfer surfer = JsonSurferJackson.INSTANCE; 
    surfer.configBuilder().bind("$[*]", new JsonPathListener() { 
     @Override 
     public void onValue(Object value, ParsingContext context) { 
      System.out.println(value); 
     } 
    }).buildAndSurf(json); 

Json全体がメモリに読み込まれることはありません。 JSON配列は1つずつ処理されます。