ロードCSVデータは、データフレームへとApacheスパーク（Java）の

Question

を使用して配列に変換して、私は、CSVは、以下のデータを含むファイルがあります。

1,2,5 
2,4 
2,3 

私は、配列

の文字列のDATAFRAME持つスキーマにロードしたいです

出力は以下のようになります。

[1, 2, 5] 
[2, 4] 
[2, 3] 

これは、ここでのScalaを使用して回答されています Spark: Convert column of string to an array

私はそれがJavaで起こるようにしたいです。
助けてください

Answer 1

以下はJavaのサンプルコードです。 spark.read().text(String path)メソッドを使用してファイルを読み込み、split関数を呼び出す必要があります。

import static org.apache.spark.sql.functions.split; 

public class SparkSample { 
    public static void main(String[] args) { 
     SparkSession spark = SparkSession 
       .builder() 
       .appName("SparkSample") 
       .master("local[*]") 
       .getOrCreate(); 
     //Read file 
     Dataset<Row> ds = spark.read().text("c://tmp//sample.csv").toDF("value"); 
     ds.show(false);  
     Dataset<Row> ds1 = ds.select(split(ds.col("value"), ",")).toDF("new_value"); 
     ds1.show(false); 
     ds1.printSchema(); 
    } 
}