2016-06-30 7 views
1

こんにちは私はMobius Githubから直接コピーされた以下の例を実行しようとしています。しかし、SaveAsTextFile(文字列ファイルパス)メソッドを使用しようとすると、メソッドが見つかりません。 「Microsoft.SparkCLR」バージョン=「1.6.100」:代わりに、図1SaveAsTextFileメソッドはMobius(SparkCLR)で使用できなくなりましたか?

でのショーエラーは、私は、最新のリリースを参照しています。

var lines = sparkContext.TextFile(@"hdfs://path/to/input.txt"); 
    var words = lines.FlatMap(s => s.Split(' ')); 
    var wordCounts = words.Map(w => new KeyValuePair<string, int>(w.Trim(), 1)) 
          .ReduceByKey((x, y) => x + y); 
    var wordCountCollection = wordCounts.Collect(); 
    wordCounts.SaveAsTextFile(@"hdfs://path/to/wordcount.txt"); 

Figure 1: does not contain definition....best alternative blah blah

答えて

2

次の行を試してみて、それが動作します。あなたの図のエラーメッセージとして

wordCounts.Map(wc => wc.Key + "," + wc.Value) 
      .SaveAsTextFile(@"hdfs://path/to/wordcount.txt"); 

はRDDはString型である場合SaveAsTextFile()が利用可能であることを示します。上のコードは、キーと値のペアのRDDを文字列RDDに変換します。 ReadMe fileのコードサンプルを更新する必要があります。もしあなたが興味があれば、それを修正するためにPRを送ってください。

すべてRDDタイプについてSaveAsTextFileは()利用できるようにするかどうかをメビウスのプロジェクトでの議論がありました。その問題は、RDDでサポートされているタイプのToStringが、テキストファイルに書き込まれたときに読み込み可能な文字列になるとは限りません。これに関する意見がある場合は、Mobius repo in GitHubに問題を作成してください。

関連する問題