（null）PysparkのsaveAsTextFile（）内のコマンド文字列例外

Question

Windows 7のJupyterノート（Python 2.7）でPySparkで作業しています。pyspark.rdd.PipelinedRDDというRDDがidSumsと呼ばれています。 idSums.saveAsTextFile("Output")を実行しようとすると、私は、次のエラーが表示さ：私はエラーなしで他のアクションを実行することが可能だから

Py4JJavaError: An error occurred while calling o834.saveAsTextFile. 
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 33.0 failed 1 times, most recent failure: Lost task 1.0 in stage 33.0 (TID 131, localhost): java.io.IOException: (null) entry in command string: null chmod 0644 C:\Users\seride\Desktop\Experiments\PySpark\Output\_temporary\0\_temporary\attempt_201611231307_0033_m_000001_131\part-00001 

を例えば、私の意見では、RDDオブジェクトに問題があるべきではありませんidSums.collect()を実行すると正しい出力が得られます。

さらに、Outputディレクトリが作成され（すべてのサブディレクトリで）、ファイルpart-00001が作成されますが、0バイトです。

Answer 1

ハーフープバイナリwinutils.exeがありません。 x64ビット/ x32ビットシステムに応じてwinutils.exeファイル&をダウンロードして、あなたのhadoopホームをそれに向けて設定します。

第一の方法：

1.Downloadファイル

"C：" あなたのシステムの元で

2.CreateのHadoopのフォルダHadoopのディレクトリの元で

3.Create binフォルダ：C：\ビンの元でのHadoop \ビン

4.pasteのwinutils.exe：C：\のHadoop \ビン\のwinuitls.exeシステムのプロパティで

5.Inユーザー環境変数 - > [アドバンスシステム設定

新しい変数 名を作成します。 HADOOP_HOME パス： C：あなたはこのように、次のコマンドを使用して、Javaプログラムの中で直接Hadoopのホームを設定することができます

：\

第二の道\ Hadoopの

を

System.setProperty（ "hadoop.home.dir"、 "C：\ hadoop"）;