なぜHIVE結合では実行にかなりの時間がかかりますか？

Question

私はほぼ同じ数のレコードを持つハイブで2つのテーブルに参加しようとしています。クエリの実行に時間がかかります。 なぜハイブでJOINSを実行するのに時間がかかりますか？ レコード数は両方のテーブルで約50kです。

Answer 1

ハイブクエリは内部的にマップリダクションに変換され、実行には数分かかるので実行されます。パフォーマンスを向上させるさまざまな方法があります。クエリのパフォーマンスを向上させるには、linkに従ってください。

ハイブまたはHadoopを使用する主な理由は、大量のデータを処理するためです。したがって、巨大なデータを扱う際に、他のリレーショナルデータベースと比べてはるかに大きなパフォーマンスが得られます。しかし、おそらくあなたが言及しているデータの量は、ハイブの良いユースケースではありません。