Spark 2.0でハイブクエリが非常に遅く実行されています

Question

以下の単純なHIVEクエリがあります。複数のHIVEクエリを並列に実行するユースケースがあります。スカラPARアレイ）。 Spark 1.6では10秒で実行されますが、Spark 2.0では同じクエリが5分かかることになります。

を「eはo.dept_id = t.dept_idどこo.dept_id = 100” でdとDEPTに参加するようEMPから選択*誰かがなぜそれがそう長く取っている。間違っている可能性がどのような私を助けることができますか？ 2.0に分を取るために1.6秒かかり、クエリのために

よろしく、ジェイ

Answer 1

は中..あなたは「失われたタスクのようなものが表示されることがあります。あなたは、ログファイルにそれを見ることができ、タスクエラーに関する通常であります.. "。

タスクが失われると、ランタイムは別の実行者を同じタスク構成で起動します。

それ以外の場合、Spark 2.0の方が高速でなければなりません。

実行者とマスターのメモリ構成も確認できます。

希望します。