spark-submit

1熱

2答えて

認証モードでMongoを使用してMongo-Spark Connectorに接続できません

リモートマシン上のMongoDBインスタンスを使用してMongo-Spark Connector経由でspark-submitジョブを実行しようとしています。私はなし--authフラグのmongodサービスを開始し、そしてこのようのコマンドを実行します。 ./bin/spark-submit --master spark://10.0.3.155:7077 \ --conf

2熱

1答えて

sparkはd3としてs3aファイルをロードしますが、実行するコマンドは？

私が有効であるJSONファイルがあります：私は成功し、私はこれまでの仕事 /home/me/spark/bin/spark-submit \ --master local[*] Code.py を提出するシェルスクリプトを持っているローカルスパークマシン上 DF = sqlContext.read.json("/home/me/myfile.json") をインポートすることができをと

-3熱

1答えて

spark-submitを使用して送信するとApache Beamジョブがハングアップする

ローカルスパーク設定でApache Beamのサンプルコードを実行しようとしています。私はソースを生成し、this pageで述べたようにパッケージを作りました。 $ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --

-1熱

1答えて

スパーク非同期ジョブがエラーで失敗する

私はjavaでスパークするコードを書いています。私はforeachAsyncを使用すると火花が失敗し、私にこのコードではjava.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. を与える： JavaSparkContext sparkContext = new JavaSparkContext("

1熱

1答えて

v1とv2のSpark Appの実行

Spark v1からv2へのsparkアプリケーションの設定から移行しようとしています。 v1では、Spark ContextとSpark Configを使用して初期化します。しかし、Spark v2（クイックスタートガイド）の最新のドキュメントによると、Spark Sessionを使用する必要があります。設定がspark-submitを使用してcmdから渡されることが推奨されています（私が参照し

2熱

1答えて

Pyspark：spark-submitを使用してファイルを実行しているときにJupyterコマンドを実行中にエラーが発生しました

jupyterノートブックでpysparkを実行してスクリプトを実行できます。しかし、私は火花提出を使って端末からファイルを実行しようとすると、このエラーを取得：Jupyterコマンドにファイルパスを実行エラー[errnoを2]いいえそのようなファイルやディレクトリは誰でも助けることができます私の設定に何が間違っていますか？私はあなたがpysparkスクリプトを実行するにはjupyterを

0熱

2答えて

スパークコードでconf.setMaster（）を設定ファイルを使ってローカルまたはヤーンクラスターを自動設定する

sparkプログラムを開発する際に私はローカルマシンを使用しているので、setMasterを "local"に設定する必要があります。しかし、自分が開発したプログラムから構築したjarファイルを提出すると、明らかに「ローカル」モードを使用しないことを望みます。おそらくtypesafeconfigを使用して、テスト時に「ローカル」を、プロダクション時に「糸クラスター」を設定できますか？ EDIT：