Paxataインストールの問題

Question

私たちには、Paxataのマルチノードインストールがあります。 > Paxataコア、モンゴ、Webサーバー Paxataパイプラインサーバ - - >パイプライン、スパークマスター Paxataスパークサーバー - > Paxataスパークワーカーノード

これでは、のどれを設定していない

Paxataコアサーバーは、3つのノードがあります。 UIの処理手順は完了したようです。すべてが無期限に待っています。

パイプライン・サーバは、以下の、このエラーを吐き続ける：

2017-08-24 12:02:12.488 GMT+0800 WARN [task-result-getter-2] TaskSetManager - Lost task 0.0 in stage 1.0 (TID 6, SPARK01): java.util.NoSuchElementException: None.get 
    at scala.None$.get(Option.scala:313) 
    at scala.None$.get(Option.scala:311) 
    at com.paxata.spark.cache.CacheManagerRemoteClientImpl.register(CacheManagerRemoteClient.scala:148) 
    at com.paxata.spark.cache.CacheManagerOnNodeImpl$$anonfun$getIndexCache$1.apply(CacheManagerOnNode.scala:220) 
    at com.paxata.spark.cache.CacheManagerOnNodeImpl$$anonfun$getIndexCache$1.apply(CacheManagerOnNode.scala:219) 
    at scala.Option.getOrElse(Option.scala:120) 
    at com.paxata.spark.cache.CacheManagerOnNodeImpl.getIndexCache(CacheManagerOnNode.scala:219) 
    at com.paxata.spark.PaxBootstrap$.init(PaxBootstrap.scala:13) 
    at org.apache.spark.ExecutorActor$$anonfun$4.apply(SimpleSparkContext.scala:286) 
    at org.apache.spark.ExecutorActor$$anonfun$4.apply(SimpleSparkContext.scala:285) 
    at org.apache.spark.rdd.RDD$$anonfun$mapPartitions$1$$anonfun$apply$20.apply(RDD.scala:710) 
    at org.apache.spark.rdd.RDD$$anonfun$mapPartitions$1$$anonfun$apply$20.apply(RDD.scala:710) 
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38) 
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306) 
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:270) 
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66) 
    at org.apache.spark.scheduler.Task.run(Task.scala:89) 
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:745) 

Answer 1

それはPaxataパイプラインサーバはPaxataスパークServerの各ノードに対して1つのスパークワーカーインスタンスを前提としていることが判明しました。私たちのセットアップでは、Paxata Spark Serverで複数のスパークワーカーを実行していました。スパークノードの数を1に減らすように構成を変更した後は、エラーはなくなりました。唯一のワーカーノード

SPARK_WORKER_CORES=2 
SPARK_WORKER_MEMORY=10g 
SPARK_WORKER_INSTANCES=1 

にすべての使用可能なメモリ及びノードのコアを割り当て、次

$ cd /usr/local/paxata/spark/conf/ 
$ vi spark-env.sh 

を変更するなどする必要