Spark Sqlを使用してhdfsをクエリ

Question

私はhdfsにcsvファイルを持っていますが、spark SQLでこのファイルをどのようにクエリできますか？たとえば、私は特別な列の選択要求を行い、その結果は、Hadoopの分散ファイルシステムに再格納されるように、あなたがデータフレームを作成することによって達成することができます

おかげ

Answer 1

を取得したいと思います。

val dataFrame = spark.sparkContext 
    .textFile("examples/src/main/resources/people.csv") 
    .map(_.split(",")) 
    .map(attributes => Person(attributes(0), attributes(1).trim.toInt)) 
    .toDF() 

dataFrame.sql("<sql query>"); 

Answer 2

1. あなたはSparkSessionを作成する必要があります。例はhereです。
2. CSVファイルをロード：val df = sparkSession.read.csv("path to your file in HDFS")。
3. 選択操作を実行してください：val df2 = df.select("field1", "field2")。
4. バックの結果を書く：df2.write.csv("path to a new file in HDFS")