私は新しいpysparkユーザーです。 インストール後にスパーククラスター（ "spark-2.0.2-bin-hadoop2.7.tgz"） をダウンロードしてインストールしました。ファイルシステムにアクセスしたい（クラスターにローカルファイルをアップロードする）。しかし、コマンドにhadoopやhdfsを入力しようとすると、 "no command found"と表示されます。スパークがインストールされていますが、コマンド 'hdfs'または 'hadoop'が見つかりません
私はhadoop/HDFSをインストールしますか（私はそれが火花の中に組み込まれていると思いましたが、私は得られません）？
ありがとうございます。
HDFSにアクセスするには、最初にhadoopをインストールする必要があります。 これに続いてhttp://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
Apacheサイトから最新バージョンのhadoopを選択してください。 hadoopの設定が完了したら、http://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgzをダウンロードして、ファイルを解凍してください。 spark-env.shにjava_homeとhadoop_homeを設定します。
ありがとうございます。 OK、その後hadoopをインストールします。現在のスパークを削除する必要がありますか？もう一つの問題は、私がsparkクラスタにHDFSを使用したいのであれば、私のすべてのノードにhadoopをインストールする必要がありますか？ –
はい、あなたは古いスパークを削除することができます、私はあなたに単一ノードのスパーク/ハープについての答えを与え、あなたはマルチノードハープを設定し、次にスパークを設定する必要があります。 –
ありがとう！私はそれを試して、それがどうなるか見てみましょう！ –
あなたはので、これはあなたがメッセージを得ている理由であるクラスパスにhdfsまたはhadoopを持っていない：「何のコマンドが見つかりません」。
\yourparh\hadoop-2.7.1\bin\hdfs dfs -ls /を実行すると、ルートコンテンツが表示されます。 HADOOP_HOMEがあなたのENVある
export PATH $PATH:$HADOOP_HOME/bin
：
しかし、あなたはあなたのhadoop/bin追加することができます（hdfs、hadoopが...）このような何かをクラスパスにコマンド。変数を使用してパスをhadoopinstallation folder (download and install is required)
ありがとう、私は火花のインストールはHDFSに付属していないと思います。私はhadoopをダウンロードしてインストールしようとし、それがどうなるかを見てみましょう。 –
Sparkをインストールする前にHadoopをインストールしましたか？ hadoopがインストールされていない場合、Sparkサポートのhadoopバージョンをインストールしました.Hadoopコマンドは機能しません。 – Bhavesh
Apache SparkはスタンドアロンモードでもApache hadoopでもインストールできます。私はあなたがスタンドアロンモードでインストールしたと思うので、あなたはhdfsファイルシステムにアクセスできません。 – user4342532
@Bhavesh Legit！私は馬鹿だった。ありがとうございました。私がダウンロードしたものにHDFSが付属していると思った –