rdd

1熱

1答えて

parallelizeメソッドを使用してemptyRDDを作成するのはなぜお勧めしませんか？

私はapache-sparkを学び、空のRDDを作成しようとしています。 私は空のRDDを作成するには、次の方法だ： 1. JavaRDD<String> emptyRDD = sc.emptyRDD(); 2. List<String> emptyList = new ArrayList<String>(); JavaRDD<String> emptyParallelRDD = sc

apache-spark parallel-processing rdd 2017-12-07

---

0熱

1答えて

RDD系統はいつ作成されますか？系統グラフを見つけるには？

私はApache Sparkを学び、RDDの系統グラフを取得しようとしています。 しかし、私は特定の系譜がいつ作成されるのか分からなかったのですか？ また、RDDの系統はどこにありますか？

apache-spark rdd 2017-12-07

---

0熱

1答えて

RDD.getStorageLevel.useMemoryがtrueを返しますが、Spark UIストレージがキャッシュされたデータを表示しないのはなぜですか？

私はApache Sparkを学び、RDDとキャッシュRDDプロセスを扱っています。 スカラー端末でrdd.getStorageLevel.useMemoryコマンドを使用してRDDがキャッシュされているかどうかを確認できます。だからここ は私が続くコマンドです： scala> years.getStorageLevel.useMemory res12: Boolean = false sc

scala apache-spark caching rdd 2017-12-07

---

1熱

1答えて

デフォルトのpersist（）は、シリアル化されていないオブジェクトとしてJVMヒープにデータを格納するのはなぜですか？

私はApache Sparkを学び、SparkでRDDのキャッシュと永続性に関連する概念を解明しようとしています。 だから、本の中で持続性のドキュメントの「学習スパーク」によると：RDD複数回の計算避けるために 、我々はデータを永続化するためにスパークを求めることができます。 SparkにRDDを永続化するように依頼すると、RDDを計算するノードはパーティションを保存します。 スパークは、私たちの

apache-spark caching persistence spark-streaming rdd 2017-12-08

---

0熱

1答えて

pysparkのパイプライン化されたRddにアクセスできない

私は、pysparkを使用してゼロからK-meansを実装しようとしています。私はrddのさまざまな操作を実行していますが、最終的に処理されたrddの結果を表示しようとすると、「パイプライン化されたRDDの反復ができません」などのエラーや.collect（）のようなものは piplined rddの問題。 from __future__ import print_function import

numpy apache-spark pyspark rdd 2017-12-09

---

0熱

1答えて

spark foreach（keyValue）、値がメモリの爆発を引き起こすかどうか？

groupByKey()の後、私は自分のRDDを手に入れました。(0, [a list of name]) ユースケース：s3のファイルに名前のリストを書きます。このRDDは一行だけですので、私は直接foreach() コードを使用している：私の質問は機能write_to_s3()、lines = keyValue[1]である def write_to_s3(keyValue): lin

python apache-spark foreach out-of-memory rdd 2017-12-10

---

0熱

1答えて

Spark RDDのネイティブなScalaメソッドを使用しても、Sparkの魔法は失われますか？

私は仕事のためにスパークに潜入しています。スパークが特定のことをどう扱うかについての質問があります。 私はキー - >値ペアのRDDがあります（CustomerID、TotalSpend）。 RDD上で.sortByを使用すると、.sortByはSpalaメソッドではなくScalaメソッドであるため、Sparkの魔法を見逃していますか？ つまり、Sparkが行う配信を利用するには、RDDのSpar

scala apache-spark rdd 2017-12-11

---

0熱

1答えて

フィルタースパークRDDとPySparkの列名とその数値

私はScala/SparkモデルをPython/Sparkに翻訳しています。問題は、約100万の観測と約33列のRDDがあることです。 数値しきい値（ '時間'）に基づいてRDDを分割しています。 time変数は数値形式（double）（posixではなく）です。ここで は、Scalaのソースコードです： splitTime = data.approxQuantile("Time", [0.7],

python scala apache-spark pyspark rdd 2017-12-12

---

0熱

2答えて

Pyspark Dataframeは、列から要素のリストとして文字列を持つユニークな要素を取得します。

IDの列である列を持つデータフレーム（azureの複数のブロブからロードすることによって作成されます）があります。 resp = [q, r, s] 任意のアイデアどのようにそこに着くために： - ： 今、私はこの全体の列からユニークIDのリストたい。ここ df - | col1 | col2 | col3 | | "a" | "b" |"[q,r]"| | "c" | "f" |"[s

python dataframe pyspark spark-dataframe rdd 2017-12-13

---