spark 2.1のtextFileStreamからファイル名を取得

Question

csvファイルのデータにファイル名を連結したいと考えています（spark streaming）。

実は私はストリームリスナーを作成するには、このメソッドを使用します。

val lines: DStream[String] = streamingContext.textFileStream("file://" + dirPath)

注：私はあなたが自分のFILESTREAMを使用することができます非HDFSファイルシステム

Answer 1

を使用します。

JavaPairInputDStream<Text, Text> dStream = jssc.fileStream("dir", Text.class, Text.class, WholeTextFileInputFormat.class); 

でScalaは次のようになります：

val dStream = jssc.fileStream[Text, Text, WholeTextFileInputFormat]("dir"); 

次にDStreamが(path, file content)になりました。

val convertedDStream = dStream.map((x, y) => (x.toString(), y.toString()) 

を使用すると、より快適な形式に解析できます。