小規模のJava分散プログラミング

Question

私は、hadoopとそのアプリケーションについてもう少し詳しく学んでいます。大量のデータセットや大きなファイルに対応していることが分かります。たとえば、hadoop/hdfsのようなものではない、比較的少数のファイル（100k）を処理していたアプリケーションがあるとしましょう。しかし、1台のマシンで実行するには大量の時間がかかりますので、そのプロセスを配布したいと思います。

この問題はマップの縮小スタイルの問題（たとえば、各ファイルを個別に処理してから結果を集計できるなど）に分類できます。私はAmazon EC2のようなインフラストラクチャを使用していますが、実際にプロセスの結果を集約するためにどの技術を探求するかについてはあまりよく分かりません。 hadoopのように見えるかもしれませんが、ここで少し過剰です。

誰でもこのタイプの問題についてのガイダンスを提供できますか？

Answer 1

最初に、ファイルを結合できないという前提を再考することをお勧めします。画像でさえ組み合わせることができます。マッパーで再度それらを分解する方法でそれを行う方法を理解する必要があります。それらをいくつかのセンチネル値またはそれらの間のマジックナンバーと組み合わせると、それらを1つの巨大なファイルに変えることが可能になるかもしれません。

その他のオプションには、画像をセルに保存できるHBaseがあります。 HBaseにはTableMapperとTableReducerも組み込まれており、生データと一緒に処理結果を半構造化して保存することができます。

EDIT：質問「Hadoopのやり過ぎである」、あなたは次のことを考慮する必要があるためとして：

1. のHadoopは、オーバーヘッドの少なくとも一つのマシン（HDFS名前ノード）を追加します。通常は、SPOFであるため、そのマシンにデータを格納したり、ジョブを実行したりする必要はありません。

2. Hadoopは、レイテンシが比較的高いバッチでデータを処理するのに最適です。 @Raihanに言及しているように、リアルタイムまたは低レイテンシの結果が必要な場合は、ニーズをより良く満たすことができる他のFOSS分散コンピューティングアーキテクチャがいくつかあります。

3. 100k個のファイルはあまりあまりありません。たとえそれらが100kであっても、それは10GBのデータです。

4. 上記以外のHadoopは、分散コンピューティングの問題に接近するための比較的オーバーヘッドの低い方法です。その背後には巨大で役立つコミュニティがあり、必要に応じて迅速にヘルプを得ることができます。また、安価なハードウェアとフリーOSで動作することに重点を置いているため、重大なオーバーヘッドはありません。

要するに、私はあなたが他のもののためにそれを捨てる前にそれを試みます。