実行スパークマシンが

Question

に失敗し、私はマスターホスト上スパークのルートディレクトリの下にこれらのコードを実行します。

MASTER=yarn ./bin/run-example ml.LogisticRegressionExample \ data/mllib/sample_libsvm_data.txt

実際に私は、Sparkのからこれらのコードを取得README、そしてここでGitHubの上LogisticRegressionExampleについてのソースコードは次のとおりです。https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/ml/LogisticRegressionExample.scala

その後、エラーが発生します。

Exception in thread "main" org.apache.spark.sql.AnalysisException: Path does not exist: hdfs://master:9000/user/root/data/mllib/sample_libsvm_data.txt;

まず、私はなぜそれがhdfs://master:9000/user/rootであるのか分かりません。ネームノードのIPアドレスをhdfs://master:9000に設定しましたが、なぜ火花が/user/rootを選択しましたか？

次に、クラスタのすべてのホストにディレクトリ/user/root/data/mllib/sample_libsvm_data.txtを作成します。このファイルが見つかることを願っています。しかし、同じエラーが再び発生します。それを修正する方法を教えてください。

Answer 1

Sparkは、通常のLinuxファイルシステムではなくHDFS上でファイルを探しています。あなたのデータに与えたパス（data/mllib/sample_libsvm_data.txt）は相対パスです。 HDFSでは、相対パスはホームディレクトリ内で開始されるものとみなされます。

githubのLogRegExample.scalaは、糸の実行ではなくローカル実行を想定しています。糸の実行を実行するには、ファイルをHDFSにアップロードする必要があります。