スパークを実行するにはいくつの方法がありますか?私がbuild.sbtで依存関係を宣言しただけの場合、Sparkはダウンロードされて動作するはずですか? Sparkをローカルで実行したい場合(Spark tarファイルwinutilsをダウンロードしてください)、IntelliJでダウンロードされた依存関係に対してではなく、ローカルSparkに対してコードを実行するスカラーコードをどのように指定できますか?scala spark cassandraインストール
SparkをCassandraに接続するには、Sparkのローカルインストールが必要ですか?私はそれがローカルカサンドラデータベースへの「プログラムで」スパークから接続することはできませんどこかで読ん
0
A
答えて
0
、1)スパークが少し奇妙な方法で実行さ
アプリケーションが(スパークドライバとエグゼキュー)があり、そこにありますリソースマネージャー(Spark Master/Workers、Yarn、Mesos、Local)。
コードでは、マスタをlocal
またはlocal[n]
と指定することで、インプロセスマネージャ(ローカル)に対して実行できます。ローカルモードではSparkをインストールする必要はありません.Sparkは実行中のプロセスで自動的にセットアップされるためです。これはダウンロードした依存関係を使用しています。
ローカルで実行されているSpark Masterに対して実行するには、特定のローカルSpark Masterインスタンスを指すspark://
というURLを使用します。これにより、エグゼキュータJVMSがアプリケーションから分離して起動し、アプリケーションコードと依存関係の配布が必要になることに注意してください。
2)SparkからC *への接続には "Resource Manager"は必要ありませんが、この機能は基本的にはデバッグとテストのためのものです。これを行うには、local
マスターURLを使用します。通常のスパークの使用には外部リソースマネージャーが必要です。外部リソースマネージャーがなければシステムを配布できないからです。
は、いくつかのより多くのスパークについてカサンドラの例は
関連する問題
- 1. Spark-Scala with Cassandra
- 2. Kafka Spark Scala Cassandra対応バージョン
- 3. Spark 2.0 Cassandra Scala Shellエラー:java.lang.NoClassDefFoundError:scala/collection/GenTraversableOnce $ class
- 4. Scala SparkとCassandraに接続するコード
- 5. Spark + Cassandra Integration
- 6. spark-cassandraのspark-cassandraコネクタとの統合
- 7. Spark Cassandra Streaming
- 8. Java Spark Streaming with Cassandra
- 9. SparkスカラCassandra CSVをcassandraに挿入
- 10. ScalaスパークフィルターRDD using Cassandra
- 11. leftJoinWithCassandraTable spark-cassandra-connectorを使用
- 12. Spark Scalaを使用してCassandraにタイムスタンプを挿入
- 13. Scala Spark Cassandraプライマリキーでローを更新または挿入する
- 14. spark cassandra update/upsert
- 15. Cassandra Spark Connector
- 16. Apache Cassandra and Spark
- 17. Scala/Spark:原因:java.lang.ClassNotFoundException:org.apache.spark.Logging
- 18. Cassandra Spark Connector JavaDemoコンパイルエラー
- 19. Spark + Cassandra on EMR LinkageError
- 20. spark-cassandra-connectorでsparkでcassandraのブロブタイプを読み取る
- 21. Spark-cassandra-connector:toArrayが機能しません
- 22. Spark Scala 2.11.8 Spark HbaseConnectorエラー
- 23. SparkのRankingMetrics(Scala)
- 24. spark-submit scala、ClassNotFoundException
- 25. Scalaの[行] Spark
- 26. Scala/Sparkのクラスインポートエラー
- 27. Spark/Scalaのフォーマットログ
- 28. Scala - spark-corenlp - java.lang.ClassNotFoundException
- 29. Scala - Spark-corenlp - java.lang.NoClassDefFoundError
- 30. Spark scala Dataframe isin
あなたはIntelliJの中にあなたの地元のSBTを選択することができます参照してください。でスパーククラスタを選択できます。火花の中では、あなたはカサンドラクラスターに接続するためにカサンドラコネクターを使用します。それはローカルにすることができます。 –