0
私はSparkクラスタを使用しています。文字列をファイルに書き込んで、Scalaを使用してマスターノードに保存します this topicを見て、保存されたファイルを見つけるScala Sparkファイルへの文字列の書き込み
私はSparkクラスタを使用しています。文字列をファイルに書き込んで、Scalaを使用してマスターノードに保存します this topicを見て、保存されたファイルを見つけるScala Sparkファイルへの文字列の書き込み
RDDでcollectを呼び出して、コレクションをドライバに戻すだけでよいでしょう。その後、ドライバのファイルシステムに書き込むことができます。
パフォーマンスのために並列化して書き込むことをお勧めしますが、
[mcve]の作成方法。 – zero323