csvファイルにspark rddを保存する方法

Question

私は、cassandraテーブルのデータを取得してファイルシステム（Linuxファイルシステム）に保存する必要があります。

ファイルを複数のノードに分割しないでください。単一のノードに作成する必要があります。

スパークモードで動作する4つのノード（データストア）のcassandraクラスタがあります。 DSEのバージョン：5.0.1 スパークバージョン：1.6.1

Hereis私のサンプルコード：

val sc = new SparkContext(conf) 
val sqlContext1 = new CassandraSQLContext(sc); 
sqlContext1.setKeyspace("KeyspaceName"); 
val results = sqlContext1.sql("SELECT * FROM KeyspaceName.TableName"); 
results.collect().foreach(println); 

今すぐ結果RDD。単一のノードでローカルファイルシステム（linux）に保存する必要があります。

私はいくつかのブログに従いましたが、うまくいきませんでした。これを解決するためのガイドがありますか？

Answer 1

出力場所は、スパーククラスタ内のすべてのノードからアクセスできる必要があります。場所をネットワークフォルダとしてマップし、出力場所として指定することができます。

Scalaの2.11
とスパーク2+
results.write.csv(path_to_network_folder)

スパーク1.6とても似https://github.com/databricks/spark-csvから依存spark-csvを追加します。
libraryDependencies += "com.databricks" % "spark-csv_2.11" % "1.5.0"

コードは次のようになります： results.write.format("com.databricks.spark.csv").save(path_to_network_folder)