apache-spark

8熱

1答えて

私が火花を使用してジョブを実行すると、私は次のログを取得しますか？ [Stage 0:> (0 + 32)/32] ここ 32私が求めているRDDのパーティションの数に対応しています。複数のステージと、まさに各段階で発生があり、なぜ私は得ていないのですが。各ステージには、明らかに多くの時間を要します。少ない段階で完了することは可能ですか？

6熱

3答えて

は私がスパーク1.4.1を使用しています

火花シェルを起動することはできません。 spark-submitを問題なく使用できます。私は~/spark/bin/spark-shell を実行したときにしかし、私はSPARK_HOMEとJAVA_HOMEを設定しているの下にエラーが発生しました。はしかし、それはあなたがScalaのとSBTをインストールしました1.2 15/10/08 02:40:30 WARN NativeCodeLo

7熱

4答えて

Spark DataFrameと複数の列の名前を変更する（Java）

SparkSQL DataFrameと同時に複数の列をプレフィックスまたは名前を変更する方法はありますか？複数回呼び出す場合はdataFrame.withColumnRenamed()ですか？例は、（完全外部結合を使用して）変更を検出したい場合です。それから、同じ構造の2つのDataFrameが残っています。

6熱

3答えて

RDD [org.apache.spark.sql.Row]からRDD [org.apache.spark.mllib.linalg.Vector]への変換

私はSparkとScalaが比較的新しいです。 Iは、次のデータフレーム（ダブルスの密ベクトルから作られた単一の列）で始まる午前：RDDへ scala> val scaledDataOnly_pruned = scaledDataOnly.select("features") scaledDataOnly_pruned: org.apache.spark.sql.DataFrame = [fea

18熱

3答えて

Apache Sparkの主キー

Apache SparkとPostgreSQLとのJDBC接続があり、データベースにデータを挿入したいのですが、 appendモードを使用する場合は、それぞれDataFrame.Rowに対してidを指定する必要があります。 Sparkが主キーを作成する方法はありますか？

5熱

2答えて

pyspark：TypeError：IntegerTypeはタイプ<type 'unicode>>

のオブジェクトをSparkクラスタのpysparkでプログラミングすることはできません。データは大きく、メモリにロードされたり、メモリにロードされたり、データに容易基本的には af.b Current%20events 1 996 af.b Kategorie:Musiek 1 4468 af.b Spesiaal:RecentChangesLinked/Gebruikerbespreki

8熱

1答えて

スパークエグゼキュータがSIGTERMを受け取るのはなぜですか？

私は、多くの場合、スパークにこの種のエラーを参照してくださいスパークAPI（スパークコアAPIではなく、ストリーム、SQLなど）を使用していますが、ログをダンプ：スパーク環境：1.3.1糸クライアント ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM 誰がSIGTERMをトリガーしますか？ヤーン

13熱

1答えて

varargsを使用したSpark UDF

ドキュメントに示されているようにすべての引数を22までリストすることは唯一のオプションですか？ https://spark.apache.org/docs/1.5.0/api/scala/index.html#org.apache.spark.sql.UDFRegistration 誰もがこれに似た何かをする方法を考え出しましたか？ sc.udf.register("func", (s: Stri

5熱

1答えて

WARN ReliableDeliverySupervisor：リモートシステムとのアソシエーションに失敗しました。アドレスは[5000]ミリ秒でゲートされます。理由：[関連付けを解除]

は私がAWS上で次の文を実行しています val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.implicits._ case class Wiki(project: String, title: String, count: Int, byte_size: String) val data

7熱

3答えて

Spark DataFrameをディスク上にcsvとして保存するには？アレイを返すこの</p> <pre><code>df.filter("project = 'en'").select("title","count").groupBy("title").sum() </code></pre> <p>の実施結果に対する

。 spark DataFrameをcsvとしてディスクに保存する方法はありますか？