クラスタ内の選択されたノードでいくつかの命令を実行する方法は？

Question

私はRDDを使用する必要はありません。私のクラスタのノードとApache Sparkで自分の機能を実行したいだけです。だから私は配布するデータがありませんが、を実行しているノードに依存するコード（）だけです。

可能ですか？ Sparkはこの目標と互換性がありますか？

Answer 1

可能でしょうか？

私は

はこの目標に対応してスパークです（そう:)それについて考える時間を持っていた）ことが可能であると私はすでにそれについて何度か尋ねてきたと思います？

スパークが処理できる方法は、分散作業にノードを使用するエグゼキュータを多数起動することです。これは、クラスターマネージャーがノードのクラスター全体に作業を広げる作業であり、Sparkはどのノードが与えられているかだけを使用できます。

割り当てられたノードで、偽のデータセットの計算を実行して、上にRDDを作成します。

使用しないノードで計算を実行する場合は、コード内にhostnameを入れて、どのノードにいるのかを確認し、続行するか停止するかを決定します。

データベースから実行するコードを読み込むこともできます（このような解決策が既に見られています）。