Spark InputStreamからデータフレームを作成しますか？

Question

ストリーム全体をファイルに書き込んだり、データフレームにロードしたりしないようにします。正しい方法は何ですか？

Answer 1

あなたはあなたの問題がSparkStreamingのSparkContextを使用してSparkSessionのsingleton instanceを作成することによって解決することができることを説明しているSpark StreamingとsqlnetworkWordCountを確認することができます。

dataframesがstreaming rddから作成されている場合は、上のリンクを参照してください。