elasticsearch-hadoop/sparkライブラリを使用して、Spark
RDD
をElasticSearchクエリから作成しています。ElasticSearch-Sparkでエンティティのインデックスを取得する方法
esRDD
方法は、生(ElasticSearch用語で_source
、)文書および(ESで_id
)文書のIDを返しますが、私はまた、このようなElasticSearch指標として、返されたドキュメントに関する追加情報を必要とし、各文書が来るタイプ(この情報は常にES REST APIから入手できます)。
esRDD
メソッドで返されたRDD
のドキュメントのインデックスとタイプ情報を取得するにはどうすればよいですか?
EDIT
esRDD
に私の呼び出しはこのようになります。すなわち、私は、複数のインデックスを照会しています:
sparkContext.esRDD("index*/entities", query)
と実際のインデックスが "index1の"、 "INDEX2" です は、私は、そうなど、結果のRDD
の各エンティティがどの特定のインデックスから来たのか知りたい。
どのようにesRDDを呼び出すかを指定する必要があります。 'sc.esRDD(" radio/artists ")'のようなesRDD自体の呼び出しでは、ここでラジオはインデックスであり、アーティストはタイプです。 –
@PranavShukla私はワイルドカードでマルチインデックスクエリを使用しています。私はそれを明確にするために質問を編集しました。とにかく返信ありがとう –