2017-11-06 19 views
0
  1. スパークを実行するにはいくつの方法がありますか?私がbuild.sbtで依存関係を宣言しただけの場合、Sparkはダウンロードされて動作するはずですか? Sparkをローカルで実行したい場合(Spark tarファイルwinutilsをダウンロードしてください)、IntelliJでダウンロードされた依存関係に対してではなく、ローカルSparkに対してコードを実行するスカラーコードをどのように指定できますか?scala spark cassandraインストール

  2. SparkをCassandraに接続するには、Sparkのローカルインストールが必要ですか?私はそれがローカルカサンドラデータベースへの「プログラムで」スパークから接続することはできませんどこかで読ん

+0

あなたはIntelliJの中にあなたの地元のSBTを選択することができます参照してください。でスパーククラスタを選択できます。火花の中では、あなたはカサンドラクラスターに接続するためにカサンドラコネクターを使用します。それはローカルにすることができます。 –

答えて

0
、1)スパークが少し奇妙な方法で実行さ

アプリケーションが(スパークドライバとエグゼキュー)があり、そこにありますリソースマネージャー(Spark Master/Workers、Yarn、Mesos、Local)。

コードでは、マスタをlocalまたはlocal[n]と指定することで、インプロセスマネージャ(ローカル)に対して実行できます。ローカルモードではSparkをインストールする必要はありません.Sparkは実行中のプロセスで自動的にセットアップされるためです。これはダウンロードした依存関係を使用しています。

ローカルで実行されているSpark Masterに対して実行するには、特定のローカルSpark Masterインスタンスを指すspark://というURLを使用します。これにより、エグゼキュータJVMSがアプリケーションから分離して起動し、アプリケーションコードと依存関係の配布が必要になることに注意してください。

2)SparkからC *への接続には "Resource Manager"は必要ありませんが、この機能は基本的にはデバッグとテストのためのものです。これを行うには、localマスターURLを使用します。通常のスパークの使用には外部リソースマネージャーが必要です。外部リソースマネージャーがなければシステムを配布できないからです。

は、いくつかのより多くのスパークについてカサンドラの例は

https://github.com/datastax/SparkBuildExamples

+1

ありがとうございます。 プロセスマネージャに対して実行する: 'SparkConf.setMaster(" local [*] ")' SparkMasterに対して実行するには: 'SparkConf.setMaster( "spark://") ' そしてどちらの場合も、 Cassandraの外部データベースに接続します。 '.set(" spark.casandra.connection.host "、" localhost ")' – rodbs

+0

それはそれを行います。 – RussS

関連する問題