Javaで大量のデータを読み取る

Question

私はJavaを使用して、UCI Machine Learning Repositoryからいくつかのデータセットを読み込んで処理しています。 各データセットのクラスを作成し、特定のクラスファイルを操作することから始めました。データセットのすべての属性は、必要なタイプのクラスの対応するデータメンバーによって表されていました。このアプローチはうまくいきました。帰属したのは< 10-15です。私は、クラスのデータメンバーを増減し、新しいデータセットをモデル化するために型を変更しました。私はまた、関数に必要な変更を加えました。

問題： 私は今、非常に大規模なデータセットと仕事をしなければなりません。 > 20-30の属性を持つものは、この方法で作業するのが面倒です。私はクエリをする必要はありません。私のデータ離散化アルゴリズムでは、離散化するためにデータのスキャンが4回必要です。私の仕事は離散化の直後に終わります。ここで効果的な戦略は何でしょうか？

私は自分の問題をはっきりと述べることができたらいいと思う。

Answer 1

次のようなメンバーを含む単純なデータセットクラスを作成します。

public class DataSet { 
    private List<Column> columns = new ArrayList<Column>(); 
    private List<Row> rows = new ArrayList<Row>(); 

    public void parse(File file) { 
     // routines to read CSV data into this class 
    } 
} 

public class Row { 
    private Object[] data; 

    public void parse(String row, List<Column> columns) { 
     String[] row = data.split(","); 
     data = new Object[row.length]; 

     int i = 0; 
     for(Column column : columns) { 
      data[i] = column.convert(row[i]); 
      i++; 
     } 
    } 
} 

public class Column { 
    private String name; 
    private int index; 
    private DataType type; 

    public Object convert(String data) { 
     if(type == DataType.NUMERIC) { 
      return Double.parseDouble(data); 
     } else { 
      return data; 
     } 
    } 
} 

public enum DataType { 
    CATEGORICAL, NUMERIC 
} 

使用したい任意のデータセットを処理します。唯一の問題は、データセットに列とそれぞれのデータ型を定義してデータセットを定義する必要があることです。あなたは、コードでそれを行うことができますまたはあなたがより簡単だと思うファイルからそれを読むことができます。多くの設定データをデフォルト（CATEGORICALと言ってもいい）したり、フィールドを解析しようとすると失敗した場合はCATEGORICAL、そうでなければ数値を解析することができます。通常、ファイルには列の名前を見つけるために解析できるヘッダーが含まれており、その列のデータを調べるだけでデータ型を把握する必要があります。データ型を推測する単純なアルゴリズムは、あなたを助けるのに非常に役立ちます。基本的にこれは、他のすべてのパッケージがこのようなデータ（例えばR、Wekaなど）に使用する全く同じデータ構造です。

Answer 2

いくつかのオプション：

1. は、ファイルのメタデータを読み込み、同等のクラスファイルを生成するコードジェネレータを書きます。
2. クラスを気にしないでください。データをObjectまたはStringの配列に保ち、必要に応じてキャストします。
3. DataElementsとサブクラスのコレクションを含むクラスを作成し、必要なすべてのタイプのDataElementsを実行し、実行時に適切なクラスを作成するためにメタデータを使用します。

Answer 3

私は私のプロジェクトの一つにそのような何かをしました。さまざまなデータがあり、私の場合はインターネットからデータを取得しました。私はクエリやソートなどが必要だったので、データのすべてのバリエーションに対応できるようにデータベースを設計しました（すべてのエントリが同じ数のプロパティを持っているわけではありません）。それはしばらく時間がかかりましたが、私は同じコードを使用して（私の場合はJPAを使用して）どんなエントリのデータも取得しました。私のIDE（NetBeans）はデータベーススキーマを使用してコードの大部分を作成しました。

あなたの質問から、それはあなたが、私は個人的な経験に基づいて答えてるようにデータを使用する予定の方法については明確ではありません。