spark-submit

0熱

1答えて

es設定を送信するには、ハイブで行うのと同じようにspark-submitコマンドを使用しますか？例： spark-submit ... --files hive-site.xml --jars ... その後、私はハイブの表は、スパークSQLを使用してアクセスすることができ、私は、任意のヒントをESを使用して同様のことをしたいですか？

1熱

1答えて

PySpark BuilderでPySparkシリアライザを設定する

PySpark 2.1.1を使用していて、Spark Submitを使用するときにシリアライザを設定しようとしています。私は次のエラー java.lang.ClassNotFoundException: PickleSerializer シリアライザを初期化するための正しい方法は何を取得しています print("creating spark session") spark = SparkSe

2熱

1答えて

ツェッペリンノートブックは手動で実行しない

は、ゼーペリンノートブックでスパークコードを対話的に実行する必要はありませんか？私は特定のものを探しています。もし誰かが正しい方向に私を向けることができたら。あるいは、現在、ゼップリンノートに入っているスパークコードを提出する他の方法もあります。私がspark-submitを使用できないのは、セキュリティ上の理由からコマンドラインへのアクセスがないからです。

12熱

4答えて

クラスタ上でファイルを保存する方法

私はsshを使用してクラスタに接続されていると私は私がテキストファイルに結果を保存したい spark-submit --master yarn myProgram.py 使用してクラスタにプログラムを送信し、私が使用してみました次の行： counts.write.json("hdfs://home/myDir/text_file.txt") counts.write.csv("hdfs://

0熱

1答えて

YARNウェブに表示されていないSpark提出のアプリケーションuu

私は糸モードでスパークをインストールしたノードを持っています。 sudo ./usr/bin/spark-submit --master yarn --deploy-mode client MySparkCode.py でアプリケーションを実行すると、正常に動作します。私は火花の履歴サーバーにhttp://localhost:18089/で接続すると、私は提出されたアプリケーションを見ること

0熱

1答えて

スパーク--- zookeeper.ClientCnxn：サーバーヌルのセッション0x0の、予期しないエラー

私は、次のコマンドするためのロジックが含まれているソースファイルへのファイルパスポイント spark-shell --master local[*] --jars ./library/ejml-0.23.jar,library/jollyday.jar,library/protobuf.jar,library/stanford-corenlp-3.6.0-models.jar,library/s

1熱

1答えて

EMRクラスタでspark-submitまたはsparkRを使用してSparkRスクリプトを実行するにはどうすればよいですか？

私はsparkRコードを書いて、EMRクラスター上でspark-submitまたはsparkRを使用して送信できるかどうか疑問に思っています。は、私には、例えば、いくつかの方法を試してみました： Error in sparkR.sparkContext(master, appName, sparkHome, sparkConfigMap, : JVM is not ready after 10

0熱

1答えて

GCP Dataproc spark.jar.packagesで問題が発生しました

Dataproc Sparkクラスタを作成するときに --properties spark:spark.jars.packages=mysql:mysql-connector-java:6.0.6をgcloud dataproc clusters createコマンドに渡します。当社PySparkスクリプトが、これは何もしませんが、最初のに、これはこの依存関係を解決しようとする創造にどうやらC

0熱

1答えて

spark-submitがインターネットに接続されていないときに失敗します

引数--packagesを使用してspark-submitでスパークジョブを送信しようとすると、sparkが最初にアーチファクトをローカルリポジトリで検索し、私は、スパークがインターネットから成果物を取得しようとするたびに、接続が失敗したことを確認します。 sparkに強制的にローカルキャッシュのみを使用できますか？例： spark-submit --master yarn --deploy-