SPARKでelasticsearch-sparkを使用してデータを読み込むときにタイプを変換する方法

Question

elasticsearch-sparkのesRDD("index")関数を使用してelasticsearchからデータを読み込もうとすると、結果はorg.apache.spark.rdd.RDD[(String, scala.collection.Map[String,AnyRef])]になります。そして私が値をチェックするとき、それらはすべてタイプAnyRefです。

elasticsearch-のHadoopは、自動的に組み込み型（バック）をElasticsearchするタイプのスパークを変換私の依存関係は次のとおりです：しかし、私はそれを言う、ES site上で見た

scalaVersion := "2.11.8" 
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0" 
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.1.0" 
libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.1.0" 
libraryDependencies += "org.elasticsearch" % "elasticsearch-spark-20_2.11" % "5.4.0" 

私は何かが恋しいですか？そして、私はどのように便利な方法で型を変換できますか？

Answer 1

OK、解決策が見つかりました。 esRDDを使用すると、すべての種類の情報が失われます。
我々が使用している場合は、より良いです：あなたが前にそれを行っている場合

val df = sparkSession.read.format("org.elasticsearch.spark.sql").option("es.read.field.as.array.include", "").load("index") 

あなたはコンフィグES optionで、optionは無視することができますすることができます。

データreturendはDataFrameであり、データ・タイプがあれば変換はelasticsearch-sparkによって支持されているように、スキーマ内（sql.DataTypes換算）に保存されています。

これで、あなたは何でもできます。