SparkJobはリモートサーバー上のファイルを生成します

Question

私は次の問題についていくつかアドバイスが必要です：

私はCassandraを持つSparkクラスタを持っています。 私はCassandraからいくつかの情報を抽出するために、（Scalaを使って）スパークジョブを書く必要があります。結果を含むファイルを生成し、それを別のサーバー（Sparkが存在しない場所）に置く必要があります。

私の質問です：そのための最善の解決策は何ですか？ 1. sparkと同じサーバー上にファイルを生成し、それを宛先サーバーにコピーするscpを実行しますか？ 2.宛先サーバーでファイルを生成する別の方法はありますか？

ありがとうございました。

Answer 1

これを行うより良い方法は、結果を計算してHDFS（sparkサーバー）のディレクトリに保存し、nfsはこのディレクトリを宛先サーバー（スパークのないサーバー）のあるパスにマウントすることです。

これが役立ったかどうか教えてください。乾杯。