データセットの行タイプをデータセットの文字列タイプに変換する方法

Question

Java 8でspark 2.2を使用しています。私はRowtypeでデータセットを使用していますので、データセットをデータセットに変換するには、モデルには以下のエラーが表示されます。

型の不一致は：データセットからのデータセット

Scalaのためのソリューション、以下の私が好きに変換することはできませんが、私は、Javaにこれをやってみたいです。

df.map(row => row.mkString()) 
val strings = df.map(row => row.mkString()).collect 

Answer 1

最初にrowデータセットをリストに変換し、そのリストをStringデータセットに変換します。試してみてください

Dataset<Row> df= spark.read()... 
List<String> list = df.as(Encoders.STRING()).collectAsList(); 
Dataset<String> df1 = session.createDataset(list, Encoders.STRING());