私はSparkとCassandraと一緒に作業しています。特にspark-shellと.scalaプロセスを実行して結果を得る。Spark Cassandra ConnectorをSpark Job Serverと共に使用するために必要な設定
私は現在、Spark Job Serverの利用状況を見ています。私はJob Serverを稼働させ、テスト項目の両方に期待どおりに動作し、初期の簡単な.scalaを開発しました。
しかし、今はspark-shellで動作する.scalaプログラムの1つを取り出し、そのメカニズムを介してSpark Job Serverにアクセスしてアクセスしたいと考えています。私が持っている問題は、Job Serverがcassandraに関するimport文を認識していないようで、Job Serverにアップロードするためのjarファイル（sbtコンパイルパッケージ）をビルドできないということです。
あるレベルでは、Spark Job Server上でsparkシェルパッケージスイッチ（--packages datastax：spark-cassandra-connector：2.0.1-s_2.11）と同等のJob Serverが必要なようですimport com.datastax.spark.connector._と.scalaファイル内の同様のコードが動作します。 [エラー] /home/SparkCassandraTest.scala:10：：私は（SBTのcomplie）を構築しようとすると
は現在、私は、次のようなメッセージが表示されますオブジェクトdatastaxは、パッケージコム [エラー]インポートcom.datastaxのメンバーではありません.spark.connector._
検索やメッセージボードのアドバイスに基づいてbuild.sbtファイルに異なる項目を追加しました。実際の変化はありません。それが答えであれば、ベースのJob Serverに何を追加して、cassandraコネクタを使用できるようにするかを考えています。
Cassandraを使用する複数のプログラムを実行しますか？または1つだけ？ 'sbt assembly'を介して" fat jar "にコードをパックして提出しようとしましたか？ –
私はちょうどカッサンドラに接続し、いくつかのデータを読み取るので、私はそれが動作することを確認することができますし、私がそこからやりたいことについて考えて、単純なスカラを構築したい...私はjar私はスパークジョブサーバーにロードするカールコマンドを使用することができますし、そこからそれらを呼び出す – ChrisHDog
残念ながらJob Serverに慣れていませんが、あなたのパッケージの指示がcassandra依存関係を逃しているようです... –