Javaで大きなファイルを処理する

Question

のような大きなファイルを解析する方法は、ファイル内の総行数が36259190の場合です。各行をオブジェクトに構文解析してリストに保存する方法。

私は毎回OutOfMemmoryErrorを取得します。

List<Point> points = new ArrayList<>(); 

public void m2() throws IOException { 
    try (BufferedReader reader = Files.newBufferedReader(Paths.get(DATAFILE))) { 
     reader.lines().map(s -> s.split(",")) 
     .skip(0) 
     .forEach(p -> points.add(newPoint(p[0], p[1], p[2]))); 
    } 
} 


class Point { 
    String X; 
    String Y; 
    String Z; 
} 

Answer 1

、Javaへのより多くのメモリを割り当てます。

データベース

メモリが不足している場合は、データベースを使用してください。たとえば、PostgresやH2などです。

データベースの目的の1つは、クエリのメモリを効率的に処理し、必要に応じてデータをロードしながら、データをストレージに保存することです。

データファイルの各行を読むときは、すぐにデータベースに格納してください。後で必要なレコードを照会します。その問合せの結果セットから必要な行のみをメモリー内にインスタンス化します。

Answer 2

コマンドライン引数-Xms（最小メモリ）-Xmx（最大メモリ）を使用する必要があります。

例：四郎による回答が正しい

-Xmx4G (4GB) 
-Xmx200M (200MB) 
java -jar program.jar -Xmx8G 

Answer 3

データ型には注意が必要です。私はあなたのポイントが3つのテキスト断片ではないと確信しています。したがって、実際のタイプに応じてPointのフィールドを定義します。 intまたはdoubleを使用します。これらの基本データ型は、その表現よりもかなり少ないメモリしか消費しません。

class Point { 
    double x, y, z; 
    Point(double x, double y, double z) { 
     this.x = x; 
     this.y = y; 
     this.z = z; 
    } 
    Point(String x, String y, String z) { 
     this.x = Double.parseDouble(x); 
     this.y = Double.parseDouble(y); 
     this.z = Double.parseDouble(z); 
    } 
} 

するとその後、他の人が述べたように、あなたのJVMに割り当てられたメモリの世話

public List<Point> m2() throws IOException { 
    try(BufferedReader reader = Files.newBufferedReader(Paths.get(DATAFILE))) { 
     return reader.lines().map(s -> s.split(",")) 
      .map(a -> new Point(a[0], a[1], a[2])) 
      .collect(Collectors.toList()); 
    } 
} 

としてデータファイルを収集します。上のポイントクラスを使用すると、問題なく1〜2分のGiBのヒープを使用して36個のMioインスタンスを処理できます。