Pysparkで複数の行に分割する方法

Question

Pythonでは、バックスラッシュや括弧を使って行を複数の行に分割することができます。

しかし、私はこれを行うときに何とかして、次の行を赤色にして、何かが間違っているかもしれないことを示します。

(conf.setAppName('Learnfit_Recommender') 
.set("spark.executor.memory", "10g") 
.set("spark.executor.cores",5) 
.set("spark.executor.instances",50) 
.set("spark.yarn.executor.memoryOverhead",1024) 
) 

EDIT 1：かっこをバックスラッシュに変更しました。そして、あなたがイメージを見ると、私はいくつかの 'を参照してください。赤で表示され、sc変数でさえ赤で表示されます。

これはpysparkで行を分割するための正しい方法は何ですか？そしてスパークの例では、あなたがそうであるようにpysparkで行を分割するために、バックスラッシュや括弧のどちらかを使用することができます

./bin/spark-submit \ 
--master <yarn> \ 
--deploy-mode <cluster> \ 
--num-executors <2> \ 
--executor-cores <2> \ 

Answer 1

あなたは

spark = SparkSession \ 
    .builder \ 
    .appName("Python Spark SQL basic example") \ 
    .config("spark.some.config.option", "some-value") \ 
    .getOrCreate() 

編集スラッシュや括弧を使用することができますPythonで。

あなたは彼らがPySparkにバックスラッシュの前に空白を追加する必要はありませんスパークウェブサイトhere

Answer 2

仕事サブミット：

Answer 3

に公式スパークPythonの例で使用しています。

conf = SparkConf() 

conf.setAppName('appName')\ 
.set("spark.executor.memory","10g")\ 
.set("spark.executor.cores",5) 

sc = sparkContext(conf=conf)