ファイル名の先頭に下線を引くファイルを読み込む方法は？

Question

私はログファイルを解析するために火花を使用する場合、私は、ファイル名の最初の文字が_であれば、結果は空になり、ここに私のテストコードがあることに気づく：

SparkSession spark = SparkSession 
      .builder() 
      .appName("TestLog") 
      .master("local") 
      .getOrCreate(); 
    JavaRDD<String> input = spark.read().text("D:\\_event_2.log").javaRDD(); 
    System.out.println("size : " + input.count()); 

event_2.logにファイル名を変更した場合、コードは正しい方法で実行されます。 私はtext関数が定義された：

@scala.annotation.varargs 
def text(paths: String*): Dataset[String] = { 
    format("text").load(paths : _*).as[String](sparkSession.implicits.newStringEncoder) 
} 

私はそれが_かもしれないと思うScalaのplaceholderですが、どのように私はこの問題を回避することができます。

ありがとうございました！

Answer 1

これはScalaとは関係ありません。 SparkはHadoop Input APIを使用してファイルを読み取り、アンダースコア（_）またはドット（.）で始まるすべてのファイルを無視します。

Sparkでこれを無効にする方法はわかりません。