Pysparkでプロパティファイルを読む

Question

spark 1.6.0アプリケーションで.ini個のファイル（設定/プロパティファイル）を読みたいと思っていました。そのために、ConfigParserを使用してプロパティファイルを読み込んでいます。

import ConfigParser 
import os 
config = ConfigParser.ConfigParser() 
config.read(os.path.join(os.path.dirname(__file__), 'config.ini')) 

print 'config sections : ', config.sections() 

結果として空のリストが返されます。 クライアントとクラスタの両方のモードでジョブを送信しようとしましたが、いずれもジョブの実行に失敗しています。 ファイルを読んでいる間に私がここで何か間違いをしている場合は教えてください。

Answer 1

設定ファイルを読むことができます。

spark-submit --master yarn --deploy-mode cluster --py-files conf/config.ini my_pyspark_script.py 

または（あなたのPythonモジュールとのconfig.iniを含んでいます）卵ファイル

から実行している場合：あなただけの広告卵にコードをパッケージ化するかのような火花提出時に設定ファイルを渡すためにどちらかの必要があります

spark-submit --master yarn --deploy-mode cluster files --py-files my.egg my_pyspark_script.py 
configFile = resource_filename(Requirement.parse("myapp"), "conf/config.ini") 
config = ConfigParser.ConfigParser() 
config.read(configFile)