2017-12-18 5 views
0

私はコマンドラインからgoogle cloud dataprocにpysparkジョブを送信しようとしています。 これは私の議論です。gcloud dataproc jobsのプロパティーを渡します。pyspark

gcloud dataproc jobs submit pyspark --cluster mongo-load --properties org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 mongo_load.py 

私は常に例外

--properties: Bad syntax for dict arg: [org.mongodb.spark:mongo-spark-connector_2.11:2.2.0] 

を取得しています、私はGoogleからの脱出オプションのいくつか示しhereを試してみましたが、何も動作していないようにみえます。

答えて

0

は、私はちょうど

spark.jars.packages=org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 
を渡すために必要な考え出しました
関連する問題