Apache Sparkに外部パッケージを設定するには？

Question

spark-submitコマンドを使用して実行されるPythonスクリプトを構築して、MongoDBコレクションからデータを取得し、取得したデータを処理して解析を生成します。私は--packagesオプションを使用してMongoDBコレクションを照会するためにMongoDB Sparkコネクターを利用しています。

しかし、私はApache Sparkにパッケージを設定し、--packagesオプションなしでspark submitコマンドを使ってPythonスクリプトを実行する必要があります。

Answer 1

http://spark.apache.org/docs/latest/submitting-applications.htmlから：

Python用には、火花提出の.py、.zipファイルまたはアプリケーションと一緒に配布することが.eggファイルを追加するの--py・ファイルの引数を使用することができます。複数のPythonファイルに依存する場合は、それらを.zipまたは.eggにパッケージ化することをお勧めします。

したがって、独自のデータロードロジックを作成することができます。しかし、既製のパッケージを使用すると多くの利点があります。たぶんあなたは--packagesを使用できない理由を説明できますか？チャットに基づいて

EDIT

、POは--packagesを使用することができなかった唯一の理由は、MongoDBのための彼のjarです（$PATHに、そしてもちろんのない）ローカルに保存されています。この場合、--repositories /PATH/TO/JARを指定すると問題が解決されます。