大きなデータセットへのアクセスおよび/またはそれらの格納

Question

現時点では、計算に使用する大量のfloat/doubleデータセットを扱っています。データAとデータBを比較するためのファイルがあり、ユークリッド距離/コサインの類似性を計算したいと思います。 I.データポイント1は、データBポイントを反復して、最も近いネイバーを見つける。

データはテキストファイルで示されていますが、問題はありません。情報を保存したり読むのに理想的な方法は何でしょうか？

データAのすべてのポイントに対してデータBを繰り返す必要があります。データはフロートとして保存されます。各データ点には寸法があります。ファイルには約2milの浮動小数点数が含まれている場合があります。

私が使用して行く必要があります。

1. 常にデータBのファイルを読み込み、文字列を解析する（私はこれは非常に非効率的であることを感じて）
2. リストにデータを格納（floatの配列）
3. メモリマップIOの使用？
4. HashMapの（私はHashMapの比較的新しいですが、彼らは私がちょうど変更なしで繰り返し処理していた場合、コレクションの位置は、時間の経過とともに変化することがあり位置が変わると言う？）

Answer 1

2M浮動小数点数はそれほど多くありません。それらをすべてリストに入れることは、まったく問題ありません。 AとBが多次元である場合、float [] []はうまくいきます。メモリが不足している場合は、最初にB全体を読み込みますが、一度に1つのデータ点を読み込みます。

Answer 2

塩基性溶液最高のものです：ちょうどfloat[][]。これはほぼ確実にメモリ効率が高く、最も速いソリューションであり、非常に簡単です。