HiveとSQL Serverのパフォーマンス

Question

1）私は過去2ヶ月間からハイブを使い始めました。私はSQLと同じタスクを持っています。私は、Hiveが遅く、SQLの実行中に数分/秒でクエリを実行するのに時間がかかることを発見しました。

両方の結果（SQLとHive）をクロスチェックすると、Hiveでタスクを実行した後、いくつかの違いが見つかりました。例： ：私は2012年のレコードを持っている1つのテーブルを持っています、私はハイヴの同じテーブルのハイブのタスクを実行したとき、私は2007年のレコードを持っています。

どうしてですか？

2）ハイブで私の処刑をスピードアップすると思うなら、どうすればいいですか？ （現在、私は、単一のクラスタ上のすべてのこのようなものを実行しています。私は、クラスタを高めるためと考えられる場合は、その後どのように多くのクラスタが、私はそれがパフォーマンスを向上させる必要があるはずです）

私はなるように私にいくつかのソリューションまたはいくつかの良い習慣を提案してください。それは鋭くできます。

ありがとうございました。

Answer 1

• ハイブとSQL Serverは、クエリ言語の構文の類似性以外は比較できません。
• SQL Serverは1台のマシンからリアルタイムで応答できるように構築されていますが、ハイブは数百台または数千台のマシンにまたがる大きなデータセットを処理するためのものです。
• ハイブ（via hadoop）には、ジョブを開始するためのオーバーヘッドがあります。
• ハイブとhadoopは、SQL Serverのようにメモリにデータをキャッシュしません。
• ハイブには最近追加されたインデックスしかないため、ほとんどのクエリはテーブルスキャンになります。
• データセットが1台のコンピュータに収まる場合は、おそらくSQL Serverに固執し、ハイブではないと思うでしょう。ハイブのパフォーマンスチューニングは、主にHadoopのパフォーマンスチューニングに基づいていますが、そこで実行するクエリのタイプに応じて、LazyBinarySerDeを使用することで無駄なパフォーマンスが生じる可能性があります。

ハイブには、通常のSQLとの相違点があります。これは、クエリに影響する可能性があります。それ以上の詳細がなければ、なぜ私は推測することはできません。