rdd

1熱

1答えて

Eclipseでは動作しますが、JARでは動作しないsc.TextFile（ ""）

ハーフープクラスタに入るコードを作成していますが、その前にローカルファイルでローカルにテストします。コードは、Eclipseの素晴らしい取り組んでいるが、私は（スパークLIBなどとの）SBTを持つ巨大なJARを作ってるんだと、プログラムがtextFile(path)私のコードまで働いている： import org.apache.spark.{SparkConf, SparkContext} im

eclipse scala hadoop apache-spark rdd 2017-12-14

---

0熱

2答えて

PySpark Rowオブジェクトの変異コピーを作成するには？

from pyspark.sql import Row A行オブジェクトは不変です。それをPython辞書に変換してから、Rowオブジェクトに変換して戻すことができます。辞書に変換して行に戻すことなく、変更可能なコピーや改ざんされたコピーを作成する方法はありますか？ これは、mapPartitionsで実行される関数で必要です。

pyspark spark-dataframe rdd 2017-12-20

---

1熱

2答えて

Scala RDD count by range

Iterable [MyObject]（groupByの前にRDD [MyObject]でした）に含まれるデータを "抽出"する必要があります。 私の最初のRDD [MyObjectに]： |-----------|---------|----------| | startCity | endCity | Customer | |-----------|---------|----------

scala apache-spark rdd iterable 2017-12-21

---

0熱

1答えて

pysparkからRDD依存関係を取得する方法は？

PySparkからRDDの依存関係を取得するにはどうすればよいですか？私はPySpark RDD classで同等の方法を見ることができなかった public final scala.collection.Seq<Dependency<?>> dependencies() ： Scalaはdependencies()方法があります。 PySparkのRDD依存関係を取得できる他の方法はあります

python apache-spark pyspark rdd 2017-12-24

---

1熱

1答えて

復元可能な分散データセットは永久にファイルとして保存できますか？

RDD上のすべての変換をファイルとして保存して、必要に応じてそれらを参照できるようにしたいと思います。 私が見つけたRDDの言葉は、いつもメモリに作成されていることを話しています。ドライブに保存したり、ファイルとして保存したりできますか？ はいの場合は、それを説明するオンライン記事へのリンクがどのように役立つでしょうか。

apache-spark rdd distributed-computing 2017-12-26

---

-3熱

1答えて

SparkのIndexで要素を取得する方法RDD（Java）scalaではない、Python

私はRDDの最初の要素を与えるrdd.first()メソッドを知っています。 また、私に最初のnum要素を与える方法rdd.take(num)があります。 インデックスで要素を取得する可能性はありますか？

java python apache-spark pyspark rdd 2017-12-26

---

0熱

1答えて

データフレームを使用せずにキーを一致させ、2つのRDDをpysparkに参加させる

私は2つのRDDを持っています。 IはRDD2における第3フィールド（3,1,2）などでRDD 1の最初のフィールドを使用して上記2 RDDの（1,2）などに参加し、新しい出力に書き込まれた行にマッチ取得する必要が RDD 1: [['1', 'user1', 'Name1'], ['2', 'user4', 'Name2']] RDD 2: [['5', '1a', '3', '99'

python apache-spark join pyspark rdd 2017-12-26

---

0熱

1答えて

py4j.Py4JException：メソッドは、（[]）に分割私の火花ジョブを実行する際に、私は次のエラーを取得する

存在しません： py4j.protocol.Py4JError: An error occurred while calling o191.splits. Trace: py4j.Py4JException: Method splits([]) does not exist at py4j.reflection.ReflectionEngine.getMethod(Reflectio

python apache-spark pyspark rdd py4j 2017-12-27

---

0熱

1答えて

パイプラインRDDをpysparkのDataframeに変換中にエラーが発生しました

以下のパイプライン化されたRDDをデータフレームに変換しようとしています。 パイプラインRDD - > user_rdd ['new_user1', 'new_user2', 'Onlyknows', 'Icetea', '_coldcoffee_'] 私は、私は次のエラーを取得しています以下のコード schema = StructType([StructField('Username

python apache-spark dataframe pyspark rdd 2017-12-29

---