SparkRでデータフレームを作成するには？

私はここにいるのです....ごめんなさい、素直な質問をしてください！SparkRでデータフレームを作成するには？

私はRstudioでSparkRを使用しています。

Rバージョン3.3.2 スパークバージョン2.0.2

私は成功したRスタジオでスパークを起動できると私は、WebUIのを使って見ることができます。 localhost：4040私のスパークが起動しています。

Error in invokeJava(isStatic = FALSE, objId$id, methodName, ...) : 
    org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 1 times, most recent failure: Lost task 0.0 in stage 1.0 (TID 1, localhost): java.lang.NullPointerException 
    at java.lang.ProcessBuilder.start(Unknown Source) 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) 
    at org.apache.hadoop.util.Shell.run(Shell.java:455) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715) 
    at org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:873) 
    at org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:853) 
    at org.apache.spark.util.Utils$.fetchFile(Utils.scala:474) 
    at org.apache.spark.executor.Executor$$anonfun$org$apache$spark$executor$Executor$$updateDependencies$5.apply(Executor.scala:488) 
    at org.apache.spark.executor.Executor$$anonfun$org$apache$spark$executor$Executor$$updateDependencies$5.apply(Executor.scala:480) 
    at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:7

は、誰もがこれで私を助けることができます....事前に感謝:)

出典

2017-08-10 Amir

多分この前の質問はあなたを助けることができます：https://stackoverflow.com/questions/38863003/sparkr-from-rstudio-gives-error-in-invokejavaisstatic-true-classname-meth – Shaido

sparkRを使用すると、通常のデータフレームで作業します。 SparkDataFrameで作業する必要があります。これはhttps://spark.apache.org/docs/latest/sparkr.html#sparkdataframeで確認できます –

はみんなありがとう：私は、データフレームを作成しようとしたら

は、しかし、それは、このようなエラーに何かを与えます。私は1つのファイルが欠けていました。これはgitからダウンロードできます。リンクはhttps://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin

実際には私の友人の1人にも同じ問題がありました。このファイルを追加するだけで正常に動作します。

出典

2017-10-25 13:35:01 Amir

SparkRでデータフレームを作成するには？

答えて

関連する問題