PysparkクラスターでConfigParserのセクションエラーが発生しません

Question

私はConfigParserを実装して、config.propertiesファイルからいくつかの設定をロードするプロジェクトをpysparkに持っています。ローカルのIT作業の罰金で、これまでどんな問題なし

...

しかし、クラスタ上で、それは何のセクションのエラーをスローしません。

私は「SparkFiles.get（」ファイルを「）」を使用してファイルパスを取得​​

の執行スロー--files引数にファイル私は、インターネットをクロールし、プロパティをprovideingのいくつかの解決策を見つけました。

config = ConfigParser.SafeConfigParser(os.environ) 
config.read(SparkFiles.get('file')) 

config.get("SECTION","name")を使用して関数内の変数にアクセスすると、No Sectionエラーがスローされます。

ここにコードフローがあります。 main.py iは、SparkContextを初期化します。

config = ConfigParser.SafeConfigParser(os.environ) 
config.read(SparkFiles.get('file')) 

そして、次に私はconfig.get("SECTION","name")にアクセスしようUtility.pyから関数を呼び出す：

は、その後、私は私はこれを行う上にありUtility.pyをインポートするimport文を使用して。エラーが発生します。

Answer 1

sparkでジョブを実行依頼しているときに--filesにファイルを渡す場合は、プロパティファイルをconfig.read（SparkFiles.get（ 'file'））として読み込まないでください。

config.read（ 'file'）を読んでみてください。それは糸クライアントモードで私のために動作します