複数のファイルをデータフレームにロード

Question

複数のファイルを1つのデータフレームとしてロードできますか？私はロードするために一つのファイルを持っている場合、通常、私は、例えば呼び出します。

file1 = "https://stackoverflow.com/a/b/c/folder/file1.csv" 
dc = sqlContext.read.format('com.databricks.spark.csv').options(header='false', inferschema='true').load(file1) 

しかし、私は、フォルダ/a/b/c/folder/*.csv下のすべてのファイルをロードします。

Answer 1

だと思います。sqlContext.read.format('com.databricks.spark.csv').options(header='false', inferschema='true').load(folder)です。以前は圧縮ファイルが用意されていて、メモリと比較してサイズが大きすぎてエラーが発生しました。