sparkでelasticsearchのいくつかの列を読み取るには？ ESクラスタで

Question

が、それは大規模なデータを持って、我々はデータを計算するために火花を使用しますがhttps://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html

続いelasticsearch-hadoopの方法で私たちは、インデックスの完全なコラムを読まなければなりません。助けてくれるものはありますか？

Answer 1

はい、設定パラメータ「es.read.field.include」または「es.read.field.exclude」をそれぞれ設定できます。完全な詳細here。スパーク2以上を想定した例

val sparkSession:SparkSession = SparkSession 
    .builder() 
    .appName("jobName") 
    .config("es.nodes", "elastichostc1n1.example.com") 
    .config("es.read.field.include", "foo,bar") 
    .getOrCreate()