updatestatebykey - Pyspark - スパークストリーミング

Question

私はスパークストリーミングを始めました。 UpdateStateByKey操作の重要性を理解しようとしていますか？それの使用は何ですか？任意国家を保管する必要性は何ですか？使い方？

Answer 1

updateStateByKeyメソッドを使用すると、ストリームからのデータに基づいて状態情報を作成できます。

たとえば、与えられたsensor_idの現在のステータス（風速、気温など）を(sensor_id, (timestamp, values))の形式で送信している気象センサがある場合、updateStateByKeyを使用して、センサーの現在の気象状態を表すストリームを作成できます。 [(sensor_1, current_weather_data), (sensor_2, current_weather_data)]。

他のデータとストリームを結合することができます。センサーが最後のウィンドウで情報を送信しなくても、状態には最後の値が含まれます。私はthis notebookでこの方法を使用しました。