sparkでHDFSにデータを保存するには？

Question

私はKafkaからデータを取得するためにSpark Streamingを使用したいと思います。今、私はリモートHDFSに自分のデータを保存したいと思います。私は関数saveAsTextを使用しなければならないことを知っています。しかし、私は正確にパスを指定する方法を知らない。

myDStream.foreachRDD(frm->{ 
    frm.saveAsTextFile("hdfs://ip_addr:9000//home/hadoop/datanode/myNewFolder"); 
}); 

ip_addrは私のHDFSリモートサーバのIPアドレスです：

は、私がこれを書いている場合、正しいことです。 /home/hadoop/datanode/は、hadoopをインストールしたときに作成されたDataNode HDFSディレクトリです（このディレクトリを指定する必要があるかどうかわかりません）。そして、 myNewFolderは私のデータを保存したいフォルダです。

ありがとうございます。

Yassir

Answer 1

パスはHDFSのディレクトリでなければなりません。

たとえば、myNewFolderという名前のフォルダ内のファイルをHDFSのルート/のパスに保存する場合は、

このディレクトリmyNewFolderが作成されるスパークジョブの実行にhdfs://namenode_ip:port/myNewFolder/

だろう使用するパス。

hdfs-site.xmlにあるdfs.datanode.data.dirのデータノードデータディレクトリは、HDFSに保存するファイルのブロックを保存するために使用され、HDFSディレクトリパスとして参照されるべきではありません。