Sparkジョブは、ローカルファイルシステムとの間で書き込みまたは読み込みを行いますか？

Question

Sparkジョブの場合、入力と出力はすべてHDFSになります。しかし、Sparkジョブの実行中に、ローカルファイルシステムに書き込むか、ローカルファイルシステムから読み込む必要があるものがあるのでしょうか？

Answer 1

あなたは自分のこのようなパスセーブ機能に追加する必要があります：file:///path/you/want