Sparkの構造化ストリーミング用のElasticsearchSinkの記述方法

Question

私はSpark構造化ストリーミングを使用して、Kafkaキューから大量のデータを処理し、いくつかの波状のML計算を行っていますが、結果をElasticsearchに書き込む必要があります。

ForeachWriterを使用しようとしましたが、内部にSparkContextを取得できませんでした。もう1つのオプションは、おそらくForeachWriter内でHTTP Postです。

今、私自身のElasticsearchSinkを書くことを考えています。

Sink for Spark Structuredストリーミングを作成するためのドキュメントはありますか？

Answer 1

ForeachSinkをご覧ください。それはシンクを実装し、DataFrameをRDDに変換する方法を示しています（非常に扱いにくく、大きなコメントがあります）。ただし、Sink APIはまだプライベートで未熟であり、今後変更される可能性がありますのでご注意ください。