スパークセッションにどのようなスパークパッケージが追加されたのかを列挙できますか？ SparkContextを介して、またはどこか他の場所これが利用可能であり、これはスパークパッケージのリストであると仮定すると、spark-packagesをsparkコンテキストに追加する方法を教えてください。
var packages: String = null
：
クラスorg.apache.spark.deploySparkSubmitArgumentsは、パッケージの変数を持っていますか？
私はその情報を取得するために、以下の方法を使用します。例えばspark.sparkContext.listJars
：この場合
$ spark-shell --packages elsevierlabs-os:spark-xml-utils:1.4.0
scala> spark.sparkContext.listJars.foreach(println)
spark://192.168.0.255:51167/jars/elsevierlabs-os_spark-xml-utils-1.4.0.jar
spark://192.168.0.255:51167/jars/commons-io_commons-io-2.4.jar
spark://192.168.0.255:51167/jars/commons-logging_commons-logging-1.2.jar
spark://192.168.0.255:51167/jars/org.apache.commons_commons-lang3-3.4.jar
spark://192.168.0.255:51167/jars/net.sf.saxon_Saxon-HE-9.6.0-7.jar
は、Iは火花XML-utilsのパッケージをロードし、そして他の瓶依存関係としてロードされました。
アップしたが、まだ受け入れられていない。答えはスカラですが、私はスパークルで動くものを探していました。 –
私はSparkRのドキュメント、コード、シェルを組み合わせて2時間を費やしました。この機能がSparkRの実装に直接公開されているようには見えません。また、sparkR.callJStaticを使用して情報を取得する際に、やっかいなこともありました。ごめんなさい！ – JamCon
それは答えと同じくらい良いです - 私はこれを行う方法がありません。助けてくれてありがとう。 –