AttributeError： 'SparkContext'オブジェクトに 'addJar'という属性がありません

Question

私のpysparkワードカウントコードに外部依存ライブラリ（spark-streaming-mqtt_2.10-1.5.2.jar私の場合）を追加する必要があります。私はsparkサブミットまたはpysparkシェルで実行する際に-jarsプロパティを持つ外部ジャーを追加できることを知っています。しかし、私は自分のコードやsparkの設定ファイルにこのjarファイルを追加したい。コードに含めることができるSparkContext.addJar()メソッドがあることがわかりました。 AttributeError: 'SparkContext' object has no attribute 'addJar'：

sc.addJar("spark-streaming-mqtt_2.10-1.5.2.jar") 

は、しかし、上記のコマンドは私にエラーを与えています。

私はとSpark_default.configファイルにこのjarファイルを追加しようとしている：

spark.driver.extraClassPath spark-streaming-mqtt_2.10-1.5.2.jar 
spark.executor.extraClassPath spark-streaming-mqtt_2.10-1.5.2.jar 

しかし、これも私のために働いていません。私はインターネットで見ましたが、有用なリンクを得ていません。

私はHDPクラスタで1つのnamenodeと3つのdatanodeを持つSpark 1.5.2を使用しています。

問題の解決にお手伝いできますか？本当にありがとうございます。

Answer 1

spark.jarsが火花ストリーミングmqtt_2.10-1.5.2.jarとして

を今私の仕事は、外部依存関係を取っていることはspark_deafult.configに外部依存関係を追加することによって、私のために働きました。

Answer 2

spark.driver.extraClassPathとspark.executor.extraClassPathは動作しますが、これはパスにこのファイルがアップロードされていないとして、彼らはちょうどcontaintersクラスパスを刺激するために追加されたあなたのHadoopノードでなければなりません。