TextIO APIとJava-BufferedWriter（new FileWriter（））を使用したHDFSでのファイルの書き込み

Question

各従業員IDのファイルを作成する必要があります。 groupbyKey機能を使用し、データ構造を作成することができました。 < ID、Iterable < Employee Objects >>ここでIterable < Employee>をListに変換しました。 次に、Employee IDのフォルダとファイルを作成しました。 だから< EmployeeID、List < Employee>オブジェクトでは、私たちがループし、BufferedWriterを使ってデータをファイルに書き出します。それで十分ですか、同じことをするにはTextIOフレームワークを使用する必要があります。問題は、BufferedWriterと比較してTextIOを使用して大幅にパフォーマンスを向上させるかどうかです。

おかげ

Answer 1

明確に定義された結果と失敗の場合の無いデータの損失や重複を生産する方法でファイルを書き込むことが意外に難しいです。 TextIOで使用されているWriteFilesトランスフォームの実装を見て、この複雑さを垣間見ることができます。したがって、TextIOはこの複雑さを処理します。手作りのコードを使用するのではなく、使用することを強くお勧めします。おそらくwrite().to(DynamicDestinations)のバージョンが必要です。

TextIOが絶対にできない場合は、WriteFilesの実装を見て、コードが障害に対して復元力があることを確認するために何が必要かを理解することをお勧めします。