HDFSカスタムロケーションにDStreamを保存する

Question

Spark DStreamには、HDFS上にデータを保存するために使用できるsaveAsTextFiles（接頭辞、[接尾辞]）メソッドがありますが、この関数はパスパラメータを受け入れません。あなたは、データは、私は、出力ディレクトリを変更するにはどうすればよい

/user/root/prefix_TIMESTAMP_suffx 

に保存されているrootユーザーでアプリケーションを実行している場合、デフォルトで

myDStream.saveAsTextFiles("prefix_","_suffix") 

、それはHDFSすなわち上のユーザディレクトリに記録され、現在にデータを保存していますか？

おかげ

Answer 1

はそれを前置引数などの所望のHDFSディレクトリへのパスを与えます。

myDStream.saveAsTextFiles("hdfs://my/custom/path/prefix_","_suffix")