1
を与える...クラスタ上のFileStreamは、私がファイルストリームを使用してアプリケーションをストリーミングスパークを書いています例外
val probeFileLines = ssc.fileStream[LongWritable, Text, TextInputFormat]("/data-sources/DXE_Ver/1.4/MTN_Abuja/DXE/20160221/HTTP", filterF, false) //.persist(StorageLevel.MEMORY_AND_DISK_SER)
しかし、私は、ファイル/ IO..for
16/09/07 10:20:30 WARN FileInputDStream: Error finding new files
java.io.FileNotFoundException: /mapr/cellos-mapr/data-sources/DXE_Ver/1.4/MTN_Abuja/DXE/20160221/HTTP
at com.mapr.fs.MapRFileSystem.listMapRStatus(MapRFileSystem.java:1486)
at com.mapr.fs.MapRFileSystem.listStatus(MapRFileSystem.java:1523)
at com.mapr.fs.MapRFileSystem.listStatus(MapRFileSystem.java:86)
しばらくの間、例外エラーを取得しますそのディレクトリは私のクラスタに存在します。
私はスパーク（HDFSのユーザーが必要なことがあります）。これは、ファイルのアクセス権や所有権に関連している可能性が
spark-submit --class "StreamingEngineSt" target/scala-2.11/sprkhbase_2.11-1.0.2.jar
val probeFileLines = ssc.fileStream [LongWritable、Text、TextInputFormat]（ "hdfs：//data-sources/DXE_Ver/1.4/MTN_Abuja/DXE/20160221/HTTP"、filterF、false）を使用すると..それは私にjava.lang.IllegalArgumentExceptionを与える：java.net.UnknownHostException：データソース 私は引数の適切な使用に関するヒントを与えることができます。私はそれが許可または所有権に起因するとは思わない – Luckylukee