1
よく知られているスパークのバグ/デザインの制限に従って、https://issues.apache.org/jira/browse/SPARK-2243は複数のSparkContextを持つことはできません。さて、私はpythonとScalaのこの混乱を実際に行っています.SparkContextを引数とするScalaメソッドがあります。このScalaオブジェクトをpy4jにインスタンス化してから、pysparkのSparkContext（pysparkシェルにscとしてエクスポート）を渡してもかまいません。私の理解では、scはScalaオブジェクトの周りの薄いラッパーですが、私はそれをjava/scalaクラスに変換し、Scalaメソッドへの引数として渡す方法を理解できません。pyspark、何とかpysparkのSparkContextをJavaオブジェクトに渡すことができます
これはうまくいくようです。私は今日後でそれをやり直して返信します。 – XapaJIaMnu