ローカルスパーククラスタのsparkcontext

誰かがとても親切で、私のローカルスパーク「クラスタ」に対して働くように、次のコードでhdfs URIをどのように適応させるか教えてください。ローカルスパーククラスタのsparkcontext

var lines = sparkContext.TextFile(@"hdfs://path/to/input.txt"); 
// some more code 
wordCounts.SaveAsTextFile(@"hdfs://path/to/wordcount.txt");

2017-04-15 cs0815

スパークローカルモードにはクラスタは含まれません。 MobiusベースのSparkアプリケーションを実行しようとしているマシンでクラスタ（スタンドアロン、YARNまたはMesos）を実行していますか？ – skaarthik

もちろんありません。だから、私は逆さのカンマを使ったのです。私は、将来私がそれを展開する前に、私の地元の火花に対してVisual Studioでコンソールアプリケーションを開発したいだけです。はい、私はMobiusベースのSparkアプリケーションを実行しようとしています – cs0815

あなただけのパスの場所の設定パラメータはこれだけ以下のようにHDFSを追加する必要が糸モードで

var lines = sparkContext.TextFile("/path/to/input.txt"); 
// some more code 
wordCounts.SaveAsTextFile("/path/to/wordcount.txt");

かを、アプリケーションを実行するために細かいべきではないsparkcontextの設定を取得します定義することができ、明示的にあなたも任意であるパーティションの数を定義することができるよう

val lines = sparkContext.textFile("hdfs://namenode:port/path/to/input.txt")

下にHDFSの場所を定義

var lines = sparkContext.TextFile("/path/to/input.txt",[number of partitions]);

2017-04-15 20:46:04 Nitin

ありがとうございます。（1）SparkContextをローカルスパークに対して実行するようにパラメータを設定するにはどうすればよいですか？（2）私のファイルがc：\ war_and_peace.txtの場合、コードは何でしょうか？ – cs0815

答えて