spark-submit

0熱

1答えて

JavaStreamingContext.getOrCreate（）を使用したSparkException：このJVMで実行されるSparkContextは1つだけです

this questionに関連して、この問題を回避するためにgetOrCreateイディオムを使用する必要があるというヒントを得ました。しかししよう： JavaStreamingContextFactory contextFactory = new JavaStreamingContextFactory() { @Override public JavaStreamingC

0熱

1答えて

ロングランニングの火花がスパークを使用して、私はスクリプトを実行しようとしています仕事

を提出し、この spark-submit -v \ --master yarn \ --num-executors 80 \ --driver-memory 10g \ --executor-memory 10g \ --executor-cores 5 \ --class cosineSimillarity jobs-1.0.jar として提出このスクリプトは、60K記録に点心ア

2熱

2答えて

emrでoozieを使用してspark submitを実行しようとすると、以下のエラーが表示されます

私はクラスタモードで実行しています。 apache-kerberos-codec-2.0.0-M15.jarは、oozie/share/lib/lib */sparkとoozie/share/lib/lib */oozieの複数の場所にあります。これは環境問題ですか？ ava.lang.IllegalArgumentException: Attempt to add (hdfs://ip-172-

0熱

2答えて

火花提出--keytab --principal & & --proxy-ユーザパラメータが共存できる場合--keytabと--principalパラメータ

ちょうど明確化を取得したい、--proxy-ユーザーでのHadoopのKerberosに火花提出一緒に？実際のビジネスユーザーとしてジョブを提出する必要がありますが、ユーザーにhadoop kdcのプリンシパルがありません。プロキシユーザーとケルベロスのプリンシパルを一緒に使うときはいつも例外が発生します。 17/02/09 13:51:43 INFO DFSClient: Created H

1熱

1答えて

Scala、SparkLauncherはプログラムを実行できません "/etc/spark/conf.cloudera.CD-SPARK_ON_YARN-brkvSOzr/yarn-conf/topology.py"

以下のコードはjarファイルとしてビルドされ、sparkSubmitコマンドからputty 。それはうまく動作します。 var conf = new SparkConf().setAppName("ABC") val sc = new SparkContext(conf) var hiveContext = new HiveContext(sc) import sqlContext.i

1熱

2答えて

スパークドライバメモリとエグゼキュータメモリー

私がスパークする初心者と私は私が実行している、提出されたテキストから14キロバイトのデータを読んで、いくつかの変換とアクションを行う（、collectAsMapを収集）とデータベースにデータを保存するために自分のアプリケーションを実行しています16Gのメモリを搭載した私のMacBookには、8つの論理コアがあります。 Java最大ヒープは12Gに設定されています。ここでは、アプリケーションの実

4熱

1答えて

Sparkアプリケーション終了ステータスの設定方法は？

私は今、見ての通り、私は関連の糸に係るスパーク-提出の終了コードが決定され、をスパークアプリケーションを作成し、火花提出するシェルスクリプトを使用してそれを実行します（糸クラスタ/糸クライアントを使用して）いますアプリケーション - SUCCEEDEDステータスが0の場合はそれ以外の場合は1、そうでない場合は1。私のアプリケーションがいくつかのエラーで成功した状態のために別の終了コードを返すオ

3熱

1答えて

"ファイル名、ディレクトリ名、またはボリュームラベルの構文が正しくありません。 spark-submitを使用中

私はspar-submitを使ってjarファイルを実行しています。 Sparkは私の "C"ドライブにあり、Eclipseワークスペースは "D"ドライブにあります。私はjarファイルの絶対パスを指定していますが、「ファイル名、ディレクトリ名、またはボリュームラベルの構文が正しくありません」というエラーが表示されます。以下は私が火花提出を実行するために使用するコマンドです： C:\spark-2

8熱

2答えて

Spark submitを使用して外部パラメータを渡す方法

私のアプリケーションでは、データベースに接続する必要があるので、アプリケーションの送信時にIPアドレスとデータベース名を渡す必要があります。次のように私は、申請書を提出： ./bin/spark-submit \ --class <main-class> --master <master-url> \ --deploy-mode <deploy-mode> \