0
私はエラー以下しまっRxSparkコード実行
list.files(system.file("SampleData", package = "RevoScaleR"))
myHadoopCluster <- RxSpark(namenode="zzz.westeurope.cloudapp.azure.com", port=8020,consoleOutput=TRUE)
rxSetComputeContext(myHadoopCluster)
file.exists(system.file("SampleData/AirlineDemoSmall.csv", package="RevoScaleR"))
bigDataDirRoot <- "/user/RevoShare" # HDFS location of the example data
rxHadoopListFiles(bigDataDirRoot) # There will be no files at this point.
source <-system.file("SampleData/AirlineDemoSmall.csv", package="RevoScaleR")
inputDir <- file.path(bigDataDirRoot,"AirlineDemoSmall")
rxHadoopMakeDir(inputDir)
rxHadoopListFiles(bigDataDirRoot)
rxHadoopCopyFromLocal(source, inputDir)
rxHadoopListFiles(inputDir)
hdfsFS <- RxHdfsFileSystem(hostName="zzz.westeurope.cloudapp.azure.com", port=8020)
colInfo <- list(DayOfWeek = list(type = "factor", levels = c("Monday", "Tuesday", "Wednesday", "Thursday", "Friday", "Saturday", "Sunday")))
airDS <- RxTextData(file = inputDir, missingValueString = "M", colInfo = colInfo, fileSystem = hdfsFS)
# adsSummary <- rxSummary(~ArrDelay+CRSDepTime+DayOfWeek, data = airDS)
rxSummary(~ArrDelay:DayOfWeek, data = airDS)
"Revo64-9.0 -f testrxspark.R" コマンドを使用して、以下のコードを実行しようとしています：
17/03/19 00:00:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where appli$
Warning: libjvm.so not found in /log/cloudera/parcels/MRS-9.0.1/hadoop, searching system-wide
Internal Error: Cannot reset hdfs internal params while connected to an hdfs file system.
Error in try({ : Internal Error: Cannot reset hdfs internal params while connected to an hdfs file system.
Error: Error in try({ : Internal Error: Cannot reset hdfs internal params while connected to an hdfs file system.
スケーラライブラリscaleR- hadoop-0.1-SNAPSHOT.jarは、すべてのノードでCloudera Parcel hadoop libフォルダにコピーされます。 早急に対応してください
MRSは、その実行に/ var/RevoShareというディレクトリを使用します。実行すると、このフォルダ内のデータと共に実行するユーザー名でフォルダを作成します。 何とか古いファイルを削除していません。私は手動でファイルを削除して、それが動作し始めた。 – knight