spark sc.textFileはどのように機能しますか？

Question

JavaRDD<String> input = sc.textFile("data.txt"); 

上記のSparkのサンプルコードでは、文字列の分散リストを返すことがわかります。しかし、そのリストの個々の文字列はlineまたはwordのdata.txtのトークンですか？

Answer 1

rddの文字列は、data.txtの行と同じです。

data.txtファイルのデータが何らかのタイプのcsvデータである場合は、データを列に分割するパッケージspark-csvを使用することができます。そのため、自分で行を解析する必要はありません。