Sparkで正確なフィールドを取得したElasticsearchからの読み込み

Question

私はElasticSearchの新機能です。JavaでSparkを使用してインデックスからデータを読み込もうとしています。

私は実際のコードを持っていますが、列がドキュメントの2つの "ルート"要素のみであるデータセット内のドキュメントを返します。残りのデータはJSON形式でそれらの列に格納されます。

これは私のコードです。）

root 
|-- aaa: struct (nullable = true) 
| |-- bbbb: array (nullable = true) 
| | |-- cccc: struct (containsNull = true) 
| | | |-- dddd: string (nullable = true) 
| | | |-- eeee: string (nullable = true) 
| |-- xxxx: string (nullable = true) 
|-- ffff: struct (nullable = true) 
| |-- gggg: long (nullable = true) 
| |-- hhhh: boolean (nullable = true) 
| |-- iiii: struct (nullable = true) 
| | |-- vvvv: string (nullable = true) 
| | |-- llll: array (nullable = true) 
| | | |-- oooo: struct (containsNull = true) 
| | | | |-- wwww: long (nullable = true) 
| | | | |-- rrrr: string (nullable = true) 
| | | | |-- tttt: long (nullable = true) 
| | |-- pppp: string (nullable = true) 

私は（ショーを使用してスパークから得ることができるすべてのようなものです：

SparkConf sparkConf = new SparkConf(true); 
    sparkConf.setAppName(Test.class.getName()); 

    SparkSession spark = null; 
    try { 
     spark = SparkSession.builder().config(sparkConf).getOrCreate(); 
    } catch (Exception e) { 
     sparkConf.setMaster("local[*]"); 
     sparkConf.set("spark.cleaner.ttl", "3600"); 
     sparkConf.set("es.nodes", "1.1.1.1"); 
     sparkConf.set("es.port", "9999"); 
     sparkConf.set("es.nodes.discovery", "false"); 
     sparkConf.set("es.nodes.wan.only", "true"); 
     spark = SparkSession.builder().config(sparkConf).getOrCreate(); 
     Logger rootLogger = Logger.getRootLogger(); 
     rootLogger.setLevel(Level.ERROR); 
    } 

    SQLContext sqlContext = spark.sqlContext(); 

    Dataset<Row> df1 = JavaEsSparkSQL.esDF(sqlContext, "index/video"); 

    df1.printSchema(); 
    df1.show(5, false); 

スパークによって推論スキーマの非常に簡易版です

+-------------------+-------------------+ 
|aaaa    |ffff    | 
+-------------------+-------------------+ 
|[bbbb,cccc]  |[1,false,null]  | 
|[bbbb,dddd]  |[1,false,null]  | 
|[bbbb]    |[1,false,null]  | 
|[bbbb]    |[1,false,null]  | 
|[null,eeee]  |[1,false,null]  | 
+-------------------+-------------------+ 
only showing top 5 rows 

それぞれ内部にデータを取得する方法はありますか行（例： bbbb）をSparkで処理しないで？ （つまり、これらのデータをElasticSearchから直接取得する方法はありますか？）

Answer 1

解決済み。

シンプルで、私も試していませんでした。ドット表記を使用してネストされたデータにアクセスできます。ただ

df1.select("aaaa.xxxx").show(5, false); 

結果、xxxxの項目の値を持つように

+--------+ 
|xxxx | 
+--------+ 
|35992783| 
|35994342| 
|35973981| 
|35984563| 
|35979054| 
+--------+ 
only showing top 5 rows