コンテキストが作成された後にpysparkにjarファイルを追加する

ノートブックからpysparkを使用していますが、SparkSessionの作成を処理しません。自分のrddを処理する際に使用したいいくつかの関数を含むjarをロードする必要があります。これは、あなたが私の特別なケースではできない - ジャーを使って簡単に行うことができるものです。 spark scalaコンテキストにアクセスしてaddJarメソッドを呼び出す方法はありますか？私はJavaGateway（sparksession._jvm ...）を使用しようとしましたが、今まで成功していません。何か案が？コンテキストが作成された後にpysparkにjarファイルを追加する

おかげギヨーム

出典

2017-03-23 tog

sparksession._jsc.addJarは仕事をしていません。

出典

2017-03-23 05:44:04 tog

...しかし、この方法は私のドライバノード上で使用可能なノードであるとして、それは部分的にしか私の問題を解決します！ – tog

私はこの非常に便利な[post]を見つけました（http://stackoverflow.com/questions/37132559/add-jars-to-a-spark-job-spark-submit） – tog

あなたは、すべてのノードのコンテキストにファイルが追加されますされ、この方法を試すことができます。

spark.sparkContext.addFile("filename")

出典

2017-09-13 13:28:21 dirceusemighini

コンテキストが作成された後にpysparkにjarファイルを追加する

答えて

関連する問題