2016-09-07 17 views
2

私たちはデータセットを解析するためにapache zeppelinを使用しています。私たちは実行したいクエリをいくつか持っていますが、これらのクエリから戻ってきた結果はたくさんあり、zeppelinでクエリを実行しますが、結果は保存します(表示は1000に制限されています)。 zeppelinを取得する簡単な方法は、クエリのすべての結果をs3バケットに保存するかどうかですか?Spark SQL Zeppelinクエリの結果の保存/エクスポート

答えて

0

私はスカラインタープリタを使ってほしいものを効果的に使うノートを拾い上げることができました。

z.load("com.databricks:spark-csv_2.10:1.4.0") 
val df= sqlContext.sql(""" 
select * from table 
""") 

df.repartition(1).write 
    .format("com.databricks.spark.csv") 
    .option("header", "true") 
    .save("s3://amazon.bucket.com/csv_output/") 

そのz.load機能は私の一日のために働くように見えたが、その後、その後、私は再びそれを試してみましたが、何らかの理由で、私は%DEPインタプリタを持つ独自の段落でそれを宣言しなければならなかったことを言及する価値標準的なスカラインタープリタの残りのコード

関連する問題