spark-submit

2熱

1答えて

NoClassDefFoundError：スパーク・スタンドアロン・クラスタにデプロイした後にXXXクラスを初期化できませんでした

sbtで作成されたスパーク・ストリーミング・アプリケーションを作成しました。それはローカルで完璧にうまく動作しますが、クラスタにデプロイした後は、fat jar（jar tvfを使用して確認）で明確に書いたクラスについて不平を言います。以下は私のプロジェクト構造です。 $SPARK_HOME/bin/spark-submit \ --class mainMethodEntryObject

3熱

1答えて

Windows 7でspark-submitを実行した後に一時ファイルを削除できませんでした

私はthisのコードを使って、sparkを使ってscalaプログラムを実行しています。プログラムは正常に実行されますが、StreamingContextが停止しようとすると、このエラーが発生します。 java.io.IOException: Failed to delete: ..\AppData\Local\Temp\spark-53b87fb3-1154-4f0b-a258-8dbeab660

0熱

1答えて

spark startApplication AppIdを私に与えることはありません

sparkに少し問題があります。私は自分の仕事を送るときにappIdを回復してどこかに保存したいと思います。しかし、私は私のIDを取得することはできません。すべてのsparkLauncherパラメータが有効で、ジョブは正常に実行されます。 try{ LOGGER.debug("Start submit SparkJob"); try { sparkAppH

0熱

1答えて

spark 2.1.0でpythonファイルをspark-submitする方法は？

現在、spark 2.1.0を実行しています。私はPYSPARKシェルで大部分の作業をしましたが、pythonファイルをspark-submitする必要があります（javaのspark-submit jarに似ています）。あなたはどのようにそれをPythonで行いますか？

1熱

1答えて

SparkでStringBuilderまたはStringBufferを使用する必要がありますか？

私はspark-submitによって実行されるクラスのHDFSから通常のファイルを読み込もうとしています。私はString操作を行い、この文字列出力からRDDを作成するメソッドを持っています。 RDDを作成する前に、以下の文字列操作を実行しています。変数valueStringにStringBuilderまたはStringBufferを使用する必要がありますか？ while ((line =

0熱

1答えて

OozieでSparkジョブを起動できません（エラーMetricsSystem）

私はspark-submitで起動するスパークジャーを持っており、ファイルを読み込み、RDDを生成してhdfsに保存します。しかし、私はOozieの仕事の中で同じ瓶を起動しようとしたとき（oozie：spark-action）スパークジョブは失敗します。私はログを見ると、最初にエラーが現れるには、次のとおりです。エラーMetricsSystem：シンククラス org.apache.spark.

1熱

1答えて

spark-shell、依存関係jar、クラスが見つかりません例外

私はsparkシェルで私のsparkアプリケーションを実行しようとしています。ここで私が試したことと、このエラーで何時間も読んだ後の多くの亜種があります...しかし、どれもうまくいかないようです。代わりに取得された何 spark-shell --class my_home.myhome.RecommendMatch —jars /Users/anon/Documents/Works/sparkwo

2熱

1答えて

spark-submitからアプリケーションを実行しているときにjarから入力ファイルを読み込みます。

入力ファイルがカスタムで区切られ、RDD [String]として変換するためにnewAPIHadoopFileに渡されます。ファイルはプロジェクトリソースディレクトリの下にあります。次のコードは、Eclipse IDEから実行するとうまく動作します。 val path = this.getClass() .getClassLoader() .getResource(

1熱

2答えて

クラスタモードでスパークステップを使用するAWS EMR。アプリケーションapplication_が失敗したステータスで終了しました

AWS Cliを使用してクラスタを起動しようとしています。 aws emr create-cluster --name "Config1" --release-label emr-5.0.0 --applications Name=Spark --use-default-role --log-uri 's3://aws-logs-813591802533-us-west-2/elasticmapr

1熱

1答えて

spark submit java.lang.NullPointerExceptionエラー

私はspark-mongoコードjarをWindows上のspark経由で送信しようとしています。私はスタンドアロンモードでsparkを使用しています。私はスパークマスターと同じマシン上に2人のワーカーを設定しました。 spark-submit --master spark://localhost:7077 --deploy-mode cluster --executor-memory 5G --