Scalaのスパークワード数（Apache Sandboxで実行中）

-3

Spark on Scalaでワードカウントラボを実行しようとしています。私は正常にテキストファイルを変数（RDD）に読み込むことができますが、.flatmap、.map、およびreduceByKeyを実行すると、添付のエラーメッセージが表示されます。私はこれに新しいので、どんなタイプの助けも大いに感謝されるでしょう。私にお知らせください。 capture Scalaのスパークワード数（Apache Sandboxで実行中）

出典

2017-05-16 user7438630

を使用してHDFSからファイルを読んだ後、あなたが正常にファイルをロードすることができませんデバッグすることをお勧めします。 'sc.textFile（...）'行（この 'sc.textFile（myNonExistingFile.txt）'のようなものを試してください）では、データは初期化しますが、変換はしません。 'flatMap'を呼び出すと、ファイルが存在しないため、実行が開始され、エラーが発生します。 https://spark.apache.org/docs/latest/programming-guide.htmlを参照してください –

あなたがの完全修飾パスを与える必要があり、次の形式

sc.textFile("hdfs://namenodedetails:8020/input.txt")

出典

2017-05-16 04:31:59 Bhavesh

でファイルを指定する必要がHadoopの

上のファイルの存在を検出することができませんでしたので、あなたのプログラムが失敗していますファイル。 Sparkは依存関係グラフを作成し、アクションが呼び出されたときに遅延評価をするので、アクションを呼び出すときにエラーに直面しています。

1次回または.take（N）メソッド

出典

2017-05-16 21:53:27

Scalaのスパークワード数（Apache Sandboxで実行中）

答えて

関連する問題