データウェアハウスとしてHiveを使用している私の場合の利点はありますか？

Question

現在、私は現在のデータ解析プラットフォームを置き換えるために大きなデータを採用しようとしています。私の現在のプラットフォームはかなりシンプルで、私のシステムはさまざまな上流のシステムから構造化されたcsvフィードファイルをたくさん取得し、それらを集約のためにJavaオブジェクト（つまりメモリ内）としてロードします。

私は、Sparkを使用して、集約プロセスのためにJavaオブジェクトレイヤを置き換えたいと考えています。

私は、Sparkがhdfs/filesystemからファイルを読み込むことをサポートしていることを理解しています。だから、データウェアハウスとしてのハイブは必須ではないようです。しかし、私はまだcsvファイルをハイブにロードしてから、Sparkを使ってハイブからデータを読み込むことができます。

Spark DFにcsvファイルを直接ロードするのではなく、私がHiveレイヤーを導入した場合の私の状況はどうですか？

ありがとうございました。

Answer 1

1. テーブルを使用していつでもデータを見たり感じたりできます。
2. アドホッククエリ/集計は、HiveQLを使用して実行できます。
3. Sparkを使用してそのデータにアクセスする場合は、データのスキーマについて個別に言及する必要はありません。