apache-spark-standalone

1熱

2答えて

start-all.shを使用して、（マスタよりも）別のSPARK_HOMEを使用するスタンドアロンワーカーを起動する方法？

私はspark 2.1.1を2台のマシンにインストールしましたが、の相対的な場所はです。つまり、NTFSドライブのどこかにインストールしたマシンと、ext4ドライブにインストールしたマシンです。私はスタンドアロンモードでクラスタを2つのスレーブと1つのマシン上に1つのスレーブと1つのスレーブと他のマシンに1つのスレーブを持つことによってマスターを開始しようとしています。私はマスターノード上sta

0熱

1答えて

スパーク・スタンドアロン・クラスタ・チューニング

8コアと50GBのメモリ（シングルワーカー）を持つ単一ノード上で動作するスタンドアロン・クラスタ2.1.0を起動します。私たちは、以下のメモリ設定とクラスタモードでスパークアプリケーションを実行 - --driver-memory = 7GB (default - 1core is used) --worker-memory = 43GB (all remaining cores - 7 co

2熱

1答えて

スタンドアロンクラスタでのRESTジョブの送信によるspark.master設定は無視されます

HAモード（2マスター）でスタンドアロンスパーククラスタがあり、そこに登録されている複数のワーカーがいます。私は詳細を以下にRESTインターフェースを介してスパークジョブを送信し、 { "sparkProperties": { "spark.app.name": "TeraGen3", "spark.default.parallelism": "40",

4熱

1答えて

マルチノードスパーククラスタ上のspark-shellは、リモートワーカーノード上でexecutorをスポンシングできません。

最初のノードに2つのノードがあるスタンドアロンモードでスパーククラスタがインストールされています。私はワードカウントコードでワーカーノード上でスパークシェルを実行しようとすると、それは罰金実行されますが、私はマスターノード上でスパークシェルを実行しようとすると、それは次のような出力が得られます。 WARN scheduler.TaskSchedulerImpl: Initial job has n

1熱

1答えて

DockerコンテナでSparkドライバプログラムを実行しています - エグゼキュータからドライバへの接続が戻っていませんか？

更新：問題は解決しました。 Dockerイメージはここにあります：docker-spark-submit 私はDockerコンテナの中に太い瓶を入れてspark-submitを実行します。私のスタンドアロンのSparkクラスタは、3つの仮想マシン（1つのマスターと2つのワーカー）上で動作します。 "--driver-URL" "スパーク：//[email protected]：5001" ワーカー

1熱

1答えて

ワーカー：（：0.186 。IP）私が走った：私は、マスター側で、窓の上にスタンドアロンのクラスタマネージャを使用してスパークアプリケーションをデプロイしようとしていますスパークapacheの

にマスタに接続できませんでした \bin>spark-class org.apache.spark.deploy.master.Master とスレーブ側で（IP：192 0.75）は、私が走った： \bin>spark-class org.apache.spark.deploy.worker.Worker spark://192.*.*.186:7077 私は問題を抱えている、目クライアントは

1熱

1答えて

スパークワーカーの1人が働いていません

私はスタンドアロンクラスタを2人の作業者と使用しています。私はstream.saveToCassandraコメント場合、それは非常に良いと高速動作するためsaveToCassandraある利用スパークカフカカサンドラのHDFSストリーム val stream = kafkaUtils.createDirectStream... stream.map(rec => Row(rec.offset,

0熱

1答えて

スパーク・スタンドアロン・デプロイメントでエグゼクティブが失敗する

ローカルWindowsマシンでsparkを実行しています。私はそれがクラスタマスターURIを与えるとき、それは完璧にうまく動作しますが、それはそれが開始するすべてのエグゼキュータに対して次の例外をスローします。 17/10/05 17:27:19 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-2017100517271

2熱

1答えて

シンプルスパーク仕事は、私は、スタンドアロンのスパーク（2.1.1）を作成したため、GCオーバーヘッドの制限

に失敗したクラスタ（27コア/ 240Gラムの合計）コード私はX これに1からすべての数字を合計サンプルスパークの仕事を持っている： package com.example import org.apache.spark.sql.SparkSession object ExampleMain { def main(args: Array[String]): Unit = {

0熱

1答えて

スタンドアロンマスタスケジュールドライバはなぜワーカー上にありますか？

schedule()（Master.scala）は、最初のスケジュールタスクがワーカー上でドライバをスケジュールしていることを示しています。 Masterはスタンドアロンモードのみを起動するため、ドライバはSparkクラスタからクライアント上で実行されます。なぜ、マスターはドライバを実行するためにワーカーをスケジュールする必要がありますか？