ハイブ、スパークマスターのWeb UIからの業務アプリケーションで常に間違っexecutor_cores

Question

私は火花にハイブにMapReduceの上hive 2.1.1を切り替えるしようとしています。スパークの公式サイトのハイブで言われているように、私は（ハイブ2.1.1のソースコードPOMのリバウンドスパイク）をハイブなしで構築します。スパークは、スパークで正常に動作していますsubmit/spark-shellテスト。私は

spark.executor.cores/spark.executor.memory

hive-site.xml で

、また、これら2

によってSPARK_WORKER_CORES/SPARK_WORKER_MEMORYを制限

に設定しましたspark-env.sh。しかし、hive cliからselect count(*)のようなハイブクエリを開始すると、スパークマスターWeb UIのジョブは常に0のCPUコアが適用されるため、ジョブは実行されず、cliのようなハイブのクエリ待ち状態になります。また、各サーバーがサーバー上で稼動しているドッカーコンテナであることをドッカー環境に設定して、160コア/ 160gのメモリを追加したスパーククラスターが設定されています。 SPARK_WORKER_CORES/SPARK_WORKER_MEMORYを設定する前に、常に156のコアが適用され、十分なリソースがなくても障害が発生します。 iはドッカーコンテナに割り当てられたリソースするlimitted SPARK_WORKER_CORES/SPARK_WORKER_MEMORYを設定した後、0が印加されます。

私は2日間進行せずに問題に貼付されています。ドッカーのハイブに慣れ親しんでいる人や、ドッカーのenvでハイブやスパークをする人のヒントを期待してください。

Answer 1

私は火花実行エンジンが全くハイブでうまく動作と思ういけません。あなたがスパークと統合しようとしているハイブのバージョンはbuilt with spark 2.0.0 and not 1.6.0です。以前はこれについて多くの議論がありました。 See the thread here 多くのユーザーがそのスレッドで報告しているので、Tezを使用する方がよいでしょう。