スパークシェルを使って独自のスカラパッケージをインポートするには？

Question

別のクラスを使用するspark-mlライブラリ用のクラスを作成しました。 私のクラスは、RandomForestClassifierのラッパーです。 今、このクラスをspark-shellからインポートする機会があります。

それでは、問題は、spark-shellからインポートできる自分のクラスを含むパッケージを作る方法です。どうもありがとう！

Answer 1

ドキュメントを読む：

In the Spark shell, a special interpreter-aware SparkContext is already created for you, in the variable called sc. Making your own SparkContext will not work. You can set which master the context connects to using the --master argument, and you can add JARs to the classpath by passing a comma-separated list to the --jars argument. You can also add dependencies (e.g. Spark Packages) to your shell session by supplying a comma-separated list of maven coordinates to the --packages argument. Any additional repositories where dependencies might exist (e.g. SonaType) can be passed to the --repositories argument.

Answer 2

あなたはHello.scalaのようなコンパイルされていないファイルをインポートしたい場合は、スパークシェルで以下の操作を行います。

scala> :load ./src/main/scala/Hello.scala