Sparkアプリケーションが実行中で、HANGINGのように見える - org.apache.spark.sql.hive.thriftserver.HiveThriftServer2

Question

HadoopクラスタでHDFS 2.7.3とSpark2 2.0.0を使用しています。 Spark2 Thrift Serverを起動すると正常に起動しますが、自動的にHiveユーザーからジョブが実行され、永久にハングアップするようです。手動でジョブを強制終了すると、新しいアプリケーションIDで新しいジョブが開始されます。

しかし、私はSpark2スリフトサーバー停止した場合、それは仕事を殺します。この問題を理解するのを手伝ってもらえますか？

ありがとうございます。

Answer 1

私はあなたのような同じ問題を抱えています。スパーク2.0はthriftserverモジュールで安定していません。スパーク2.1にアップグレードすることをお勧めします。