スパークストリーミングから新しいs3ファイルパスを読む

Question

sparkストリーミングを使用してs3ディレクトリを監視し、そのディレクトリに追加された新しいファイルのパスを返すことを望みます。 textFileStreamもfileStreamもこれを行うことはできないようです。実際に私がしたいことを達成する方法はありますか？

Edit：Spark ver。 2.1.0

Answer 1

これは、s3a：//を使用して行います。私はそれを証明するためのテストを持っています。

1. ディレクトリをスキャンする際の遅延に対処するための十分なウィンドウを設定し、クリーンアップします。
2. あなたは宛先 "ディレクトリ"に直接書き込むことができます。書いたり、名前を変更する必要はありません。そうした場合：ファイルがコピーされ、ウィンドウが表示されます。
3. チェックポイントしないでください。