Hadoop - ファイルを行数で分割する

Question

私は、hdfs上に320000000行のファイル を持っています。これを最大100000000個の行を含む4つのファイルに分割したいと考えています。 ファイルを行数で分割するにはどうすればよいですか？

私は11で再パーティションしようとしましたが、パーティションが大きすぎます。コマンドで解決できますか？またはScalaの別の方法でスパークしますか？

Answer 1

ファイルを読み取り、11ファイルに書き込むことができます。