私のスパークプログラムはリモートのubuntuシステムにあります。今はparamiko（SSH2接続用のPythonパッケージ）を使ってWindowsシステムから実行したいと思っています。リモートスパーク送信がparamiko経由で動作しない
The program in windows for remote execution of spark program
問題は、私は、リモートのUbuntuシステムにPythonプログラムを実行することができますが、スパークプログラムを実行することができないということです。なぜ誰も知っていますか？
ほとんどの場合、環境変数sparkを設定する必要があります。あなたはスパークアプリケーションが
SPARK_HOME=*<path to your spark folder>*
export PATH=$SPARK_HOME/bin:$PATH
は、コマンドによって変更.bashrcファイルをソース.bashrcファイル内のスパークのためのエントリを作成し起動するリモートインスタンス上に
source ~/.bashrc
これは本当にパスの問題です！ですから、私は '/home/username/.../spark/bin/spark-submit xxx.py'のような全体のパスを使用していました。しかし、私は環境変数を得ることができないので、環境変数を正しく設定しても、 '$ SPARK_HOME/bin/spark-submit xxx.py'のようなパスは機能しませんでした。もちろんこれは別の問題です。再度、感謝します！ – gddxz
あなたは、そのホストへのSSHすることができています同じユーザーでsparkアプリを起動したいのですか？ – FaigB
はい、私はWindowsからホストにsshすることができ、ホストで一般的なpythonプログラムを実行できますが、sparkプログラムを実行することはできません。 – gddxz