スパークストリーミングRESTカスタム受信機

Question

Spark Streamingのカスタム受信機でREST APIを使用できますか？

私はそのAPIから非同期に複数の呼び出し/読み取りを行えるようにしようとしており、それにSpark Streamingを使用しています。

Answer 1

カスタムレシーバは、データを非同期で生成するプロセスであればどれでもかまいません。通常、def receive()メソッドは、Futuresと専用のThreadPoolを使用して、RESTサーバーに非同期要求を送信します。 onCompletionの場合は、store(data)メソッドを呼び出して、結果をSpark Streamingジョブに渡します。一言で言えば 、

• def onStart()は=>取り扱い非同期要求応答を管理するプロセスを作成します
• def receive() =>連続I/Oを行い、store(...)
• def onStop() =>停止を呼び出して結果を報告プロセスを開き、onStartが作成するものをクリーンアップします。

custom receivers docsに例があります。