HBaseとHiveは同じマシン上に同じ場所に配置する必要がありますか？

Question

現在、新しいhbaseクラスタを構築しています。アーキテクチャは以下の通りです：

今私は新しいハイブクラスターを追加したいです。しかし、hbaseを使って同じhadoopクラスタでハイブを構築する必要があるかどうかはわかりません。または、ハイブ用に新しいハープクラスターを構築する必要がありますか？

hbase用の新しいhadoopクラスタを構築すると、hbase（AFAIK、hiberのデータをhdfsストレージにインポートする必要がある） ？

Answer 1

最初に、HBaseとHiveの間のトラフィックを定義します。

• は直接
• が
• は、HBaseのテーブルを外部表の要求に参加し実行するためにハイブを使用するHBaseのテーブルで倉庫テーブルの要求を結合を実行するためにハイブを使用するのHBaseを照会するためのハイブを使用します。すべてのハイブのクエリでは、どちらかでしょう

これらのすべてのコンポーネントのアーキテクチャを深く理解すると、Hive WarehouseとHbaseの両方がシーンの背後でHDFSを使用していることがわかります。同じことが、HDFS内にある外部テーブルと考えることができます。したがって、Hiveを現在のアーキテクチャに導入すると、内部データが物理的にHBaseと同じ場所、つまりデータラックのDataNodeに格納されます。つまり、トラフィックはHiveクエリを通じてYARNによってスケジュールされるタスクに最適なものになります。別のデータセンターに配置された別々のデータノードのセットを使用してハイブウェアハウスの別のラックを作成すると、パフォーマンスに悪影響を及ぼします。

したがって、すべてのサービスに対して1つのラック内にデータを保持するのに十分な容量があれば、この方法に従ってください。参照先のリンクでHiveとHBaseインフラストラクチャの詳細を読むことができます。