大規模な分析レポートを作成するためのHadoop/Spark

Question

分散処理エンジンについては何も知らないので、私のニーズに合っているかどうかは分かりません。

私は関係データベースに巨大なテーブルを持っており、ユーザーは毎日それを処理します（粗い操作と検索）。

今、新しい仕事があります。必要に応じて、1年から2年間、巨大な集計レポートを作成する可能性があります。そしてそれは速く行う。 この2年間のすべてのテーブルレコードは大きすぎてメモリに収まらないので、計算を分割する必要があります。

私は車輪を再発明したくないので、私の質問は、 は、このようなタスクのためのHadoopのような分散処理システムですか？

Answer 1

場合があります。 非Hadoopの方法は、他の集約で使用できる半集約レポートを作成することです。 私は毎日30の集計を使用して1つの月次集計を作成します。

場合によっては、データをあなたのスパーククラスターなどにプルして集計することができない場合があります。 通常、リレーショナルデータベースはデータローカリティ機能を提供しないため、Cassandraやhbaseやelasticsearchなどのnosqlデータベースにデータを移動できます。 また、大きな鍵となる質問は、答えがリアルタイムであることですか？ジョブサーバーなどのような努力を払わない限り、Hadoopジョブは通常バッチジョブです。