Hadoop/HDFSなしでハイブメタストアサービスを使用する

Question

私は質問が少し奇妙であることを知っています。私はHadoop & HDFSを愛用していますが、最近SparkSQLとHive Metastoreで動作します。

EKBプロセスを使用しないRDB、Mongo、Elasticなどの異なるデータソース間でOLAPクエリを実行するために、垂直SQLエンジンとしてSparkSQLを使用したいと考えています。次に、対応するHiveストレージハンドラを使用して、Metastoreの外部テーブルと異なるスキーマを登録します。

また、私の仕事でHDFSはデータソースとして使用されていません。その後、指定されたMap/Rは既にSparkエンジンに置き換えられています。 Hadoop/HDFSは役に立たないが、Hiveのインストールをベースにするということは私には聞こえる。私はそれらをすべて購入したくありません。

私はSparkSQLをサポートするためにHadoop/HDFSなしでHiveメタストアサービスを開始するだけであれば、どのような問題が発生するのでしょうか。私はジャングルに身を置きますか？

Answer 1

"Hive Local Mode"（このページの「ハイブ、地図の縮小とローカルモード」を検索してください）。

thisが参考になる場合があります。

この設定は、ローカルで実験している場合にのみ推奨されます。しかし、この場合は、メタストアが必要です。

また、hereから;

スパークSQLは、私たちがそれを設定しない場合でも、Hive Metastoreを使用します。設定されていない場合、デフォルトのDerby DBがメタストアとして使用されます。

これはかなり正当なものと思われます。

1. は
2. ローカルモードでハイブ
3. スタートハイブであなたのメタストアを配置し、スパーク利用するハイブは、ハイブでサポートされているすべてのデータソースに対してSQLエンジンとして
4. 使用火花をメタストア。