cronジョブを使用したpysparkの自動化

Question

私は2分ごとに呼び出されるcronジョブを持っています このジョブの目的は、新しい要求をチェックしてスパークジョブをトリガーすることです。 cronジョブが - >は、シェルスクリプトを呼び出し - >は

手動trigered

source /etc/hadoop/conf/hadoop-env.sh 
source /etc/spark/conf/spark-env.sh 
spark-submit --executor-memory 2g --num-executors 1 --packages com.databricks:spark-csv_2.10:1.5.0 \ 
            --py-files <some egg files location> \ 
            <python main script> \ 
            <configuration file> <Input Parameters> 

、スクリプトが正常に動作しますが、cronを経由トリガされたとき、それはスパークコンテキストを取得しようとして死んでロックに入る火花提出を呼び出します。

この記事では、誰でも私のためのポインタを持っていますか？

Answer 1

問題はkerbeosでした。リンクには答えがあります Click Here