rdd

0熱

1答えて

MLlib Ratingオブジェクトを使用した製品評価のRDDがあります。これは、（int userId、int productId、double rating）のタプルです。私は、評価があまりにも少ない製品のレビューであるRDDから要素を削除したいと考えています。例えばRDDは、この可能性： Rating(35, 1, 5.0) Rating(18, 1, 4.0) Rating(29,

3熱

3答えて

Spark変換とアクションのロジックはスレッドセーフである必要がありますか？

これは愚かな質問かもしれません。しかし、私はこのようなものがあるかどうかを知りたいです - rdd.mapPartitions(func)。 funcのロジックはスレッドセーフであるべきですか？あなたは "rdd.mapPartitions（FUNC）" を行うとおかげで

2熱

1答えて

Apache Sparkの巨大/大規模RDDで実行するのに最適な、または最も軽量で効率的な/最も安価なRDDアクション

Apache Sparkを初めて使用しています。以下は、私のサンプルコードを示すコードスニペットです。 val x = 5 val arrayVal = (1 to 100000) val rdd1 = sc.parallelize(arrayVal, x)//Has Huge RDD of Min 10000 to 100000 var rdd2 = rdd1.map(x => (x,

-1熱

2答えて

スパークマップは糸クラスターモードでは機能しません

入力ファイルでテキストスキャンを実行するスパークスケーラプログラムを実行しています。私はrdd.mappartitionを使用して並列性を達成しようとしています。 mappartitionセクションの中で私はいくつかのチェックを実行しており、マップ関数を呼び出して各パーティションの並列実行を実現しています。マップ関数の中で私はスキャンを実行して結果を返すカスタムメソッドを呼び出しています。 --m

1熱

2答えて

カスタムアキュムレータを作成する方法、つまりSet [String]？

Apache Accarkでカスタムアキュムレータを使用して、セットに蓄積しようとしています。結果にはSet [String]型が必要です。私はこのカスタムのアキュムレータを作成します： object SetAccumulatorParam extends AccumulatorParam[Set[String]] { def addInPlace(r1: mutable.Set[Str

3熱

3答えて

はなぜ我々はスパークセッションに

を使用してRDDを作成することはできません我々は Spark context available as 'sc'. Spark session available as 'spark'. は、私がもしそうなら、なぜ我々はできません...スパークセッションは、コンテキスト、ハイブコンテキストをストリーミング、スパークコンテキストを含んで読んで、ことを確認しますスパーク・コンテキストの代わりにス

1熱

2答えて

ロジック

employee.txt： 100|Surender 101|Raja salary.txt： 100|2016-JAN|15000 100|2016-FEB|15000 こんにちは私はいくつかをやっていますスカラを使ったスパークコアでの基本的なハンズオン。各従業員の合計給与を計算する必要があります。従業員が給与ファイルに一致するレコードを持っていない場合、給与を0として表示私は

1熱

1答えて

がスパークすると、アクションが定義される前にいくつかの操作が実行されていますか？

は、私は、次の火花の簡単な例を持っている：私はプログラムを実行すると、予想通り #1 val lines: RDD[String] = sc.textFile("/data/non_existing_file.txt") #2 val words: RDD[String] = lines.flatMap(line => line.split(" ")) #3 val pairs: RDD[(S

0熱

1答えて

スパーク形質転換のと行動のタスクは、コード

の同じ直列化されたコピーで作業でください、私は次のようしていると仮定します。これがexecutor内のタスクによって実行されると、関数のシリアライズされたコピーが1つだけ取得されるのか、各タスクが1つのコピーを取得するのでしょうか？ありがとうございました

1熱

1答えて

リスト内のグループの要素のペア

私はリストを持っています（Scalaで）。 val seqRDD = sc.parallelize(Seq(("a","b"),("b","c"),("c","a"),("d","b"),("e","c"),("f","b"),("g","a"),("h","g"),("i","e"),("j","m"),("k","b"),("l","m"),("m","j"))) 特定統計情報の2番目の要