spark-jobserver

0熱

1答えて

case class Response(jobCompleted:String,detailedMessage:String) override def runJob(sc: HiveContext, runtime: JobEnvironment, data: JobData): JobOutput = { val generateResponse= new GenerateRe

0熱

1答えて

スパークジョブのジョブ完了率を取得する方法は？

私は、対応するジョブIDに対して完了したジョブの割合を取得する方法を探していました。は今、スパークジョブサーバUIは、実行中のジョブのための対応状況を示しています。その後 { "duration": "Job not done yet", "classPath": "jobserver.spark.sql.SparkJobServerClient", "startT

0熱

1答えて

ケースクラスからキャスト名前付きRDD

CassandraRowタイプのジョブ間で自分のRDDを共有していましたが、今はいくつかのRDDに参加していますので、ケースクラスが理にかなっています。私は以下のように自分のRDDを保存します&それから新しい仕事でそれを取ります。これは、タイプCassandraRowでうまくいきました。 CDataは両方のジョブで同じケースクラスです。 runtime.namedObjects.update("

1熱

1答えて

スパーク2.1.1 with property spark.akka.threads = 12

私はApache Spark 2.1.1とSpark JobServer Spark 2.0 Previewを使用しています。私はそこに設定プロパティがspark.akka.threads = 12があるが、Spark 2.1.1 Configurationのドキュメントで、このパラメータが存在しないことを、私はスパーク1.2でそれを発見したスパークUI環境]タブで見ています。 1コンフィグレー

0熱

1答えて

スパークジョブサーバのマルチスレッド化とダイナミックアロケーション

私はSpark Job Serverからかなり大きな期待をしていましたが、それは非常にドキュメントの不足を発見しました。あなたは次の質問の1 /すべてをお答えくださいでし：は仕事Serverがスパークセッションを介してジョブを送信スパークしていますか？ Spark Job Serverと並行していくつかのジョブを実行することは可能ですか？I saw people faced some trou

0熱

1答えて

なぜsparkSessionにsparkSessionのサポートがありませんか？

spark job server API（spark 2.2.0用）を使用してアプリケーションを構築しようとしています。しかし、sparkSessionでnamedObjectをサポートしていないことがわかりました。ように私のルックス： import com.typesafe.config.Config import org.apache.spark.sql.SparkSession imp

0熱

1答えて

スパークジョブサーバーのAPI依存関係が見つかりません。私に何ができる？私のpom.xmlファイルに次のように入れて

イム： <dependency> <groupId>spark.jobserver</groupId> <artifactId>job-server-api_2.11</artifactId> <version>0.8.0</version> </dependency> 私も他のバージョンを使用しようとしたが、Mavenはそれらのいずれかを見つけるように見えるし

0熱

1答えて

Spark Cassandra ConnectorをSpark Job Serverと共に使用するために必要な設定

私はSparkとCassandraと一緒に作業しています。特にspark-shellと.scalaプロセスを実行して結果を得る。私は現在、Spark Job Serverの利用状況を見ています。私はJob Serverを稼働させ、テスト項目の両方に期待どおりに動作し、初期の簡単な.scalaを開発しました。しかし、今はspark-shellで動作する.scalaプログラムの1つを取り出し、その

0熱

1答えて

spark-jobserver：ワーカーがドライバに接続しません

2台のマシンに小さなSpark環境をセットアップしました。 1つはマスターとワーカーを実行し、もう1つはワーカーのみを実行します。私はそこに計算を実行してノードに正しく配信することができ、すべて正常に動作します。しかし、spark-jobserverを使用する際に問題が発生しています。まず、Dockerコンテナを起動してください（環境変数SPARK_MASTERが正しいマスタURLを指してい

0熱

1答えて

配備されたスパークジョブサーバエラーを起動できません。org.slf4j.LoggerFactoryが見つかりません。

CDH 5.11、スパークバージョン1.6.0のクラスタでスパークジョブサーバを使用しようとしています spark jobserverを起動しようとしました。デプロイされたマシンにこのエラーログが表示される [ERROR] [06/02/2017 15:30:14.966] [JobServer-akka.actor.default-dispatcher-3] [ActorSystem(JobSe