Spark Structured Streaming用のTCPソケットを使用してデータを送信する方法

Question

TCPソケットを使用してデータを作成して送信するので、Spark Structured Streamingのストリーミングソースとして使用できます。私はWindows OSを使用しています。私は自分のlocalhostにSSHのためにパテを使ってみましたが、それは私が何を与えるべきかわからないログインとパスワードを求めています。

これを達成するために誰も助けてください。 ありがとうございました！

Answer 1

ここに私の答えがあります。次の手順に従ってください： 1- netcatをhereからインストールします。 2をダウンロードした後、netcatディレクトリに移動し、cmdで開きます。 3-今実行します：NC -l -p [YourPortNumber] 4-今すぐあなたのソケットがを聞いていたCMDウィンドウにデータを入力し始める以下のスパーク構造化ストリーミングコード

val df = spark 
     .readStream 
     .format("socket") 
     .option("host", "your host") 
     .option("port", "your port") 
     .load() 

df.selectExpr("CAST(value AS STRING)") 
    .writeStream 
    .format("console") 
    .option("truncate", "false") 
    .start() 
    .awaitTermination() 

5を実行します。

ポートが上記のポート番号をリッスンしているかどうかを確認したい場合は、 CMDウィンドウと型に移動：

と入力しで、yourPort yourhost

のtelnet。入力を開始し、ポートを聞いていた先のcmdウィンドウにデータが受信されているかどうかを確認してください。