依存関係(対話型)sparkRの場合は、ジョブはどうですか?依存関係を持つSparkR雇用
私はjavaジョブがすべての依存関係を含んでいるfat-Jarとして提出できることを知っています。他のジョブの場合は、コマンドで--packages
オプションを指定できます。しかし、R(Rstudio)から私の小さなクラスターにsparkRを使って接続したいと思います。 (これはかなり前進しています)
しかし、私はいくつかの外部パッケージが必要です。データベース(Mongo、Cassandra)に接続したり、csvファイルを読むことができます。 モードでは、起動時にこれらのパッケージを簡単に指定できます。これは当然実行中のクラスタでは機能しません。 https://github.com/andypetrella/spark-notebookは、実行時にそのような外部パッケージをロードするための非常に便利なモードを提供します。
どのように私は、同様に負荷のmaven-コーディネートできるパッケージランタイム時の私のsparkR(インタラクティブセッション)から、またはdockerizedクラスタの画像作成中のいずれかの火花のクラスパスに?
この回答は役に立ちそうです。http://stackoverflow.com/a/36474504/1314742 – user1314742
ありがとうございました。これは面白い。しかし、パッケージに通常のmaven-coordinatesがある場合は、何らかの形で事前ロードする可能性がありますか? –