pyspark

5熱

2答えて

pyspark：TypeError：IntegerTypeはタイプ<type 'unicode>>

のオブジェクトをSparkクラスタのpysparkでプログラミングすることはできません。データは大きく、メモリにロードされたり、メモリにロードされたり、データに容易基本的には af.b Current%20events 1 996 af.b Kategorie:Musiek 1 4468 af.b Spesiaal:RecentChangesLinked/Gebruikerbespreki

9熱

1答えて

スパークウィンドウ関数 - rangeBetween dates

Spark SQL DataFrameにデータがあり、取得しようとしているのは指定された日付範囲の現在の行より前のすべての行です。たとえば、私は7日前から与えられた行の前にすべての行を持っていると思います。ここ Window \ .partitionBy('id') \ .orderBy('start') と問題が来る：私はWindow Functionのように使用する必要

13熱

1答えて

Spark：ScalaやJavaのユーザー定義関数でPythonをマッピングする方法は？

たとえば、私のチームがSparkで開発するための参照言語としてPythonを選択したとしましょう。しかし後でパフォーマンス上の理由から、Pythonコード（ScalaやJavaスケルトンを持つPythonスタブに似たもの）でそれらをマッピングするために、特定のScalaまたはJava固有のlibrairiesを開発したいと考えています。カスタマイズされた新しいPythonメソッドを、Scalaや

10熱

1答えて

Spark ML/pysparkでプログラムで機能ベクトルを作成

複数の数値列に機能がある場合、pysparkのDataFrameでML（例えばKMeans）を実行する簡潔な方法があるのだろうかと思います。 I.e. Irisデータセットのように： (a1=5.1, a2=3.5, a3=1.4, a4=0.2, id=u'id_1', label=u'Iris-setosa', binomial_label=1) 私は、特徴ベクトルは、新しい列とコードで繰

9熱

1答えて

pysparkデータフレームからJDBCを介して外部データベーステーブルに挿入する際の重複キー更新

私はPySparkを使用しています。私はSparkデータフレームを使用してデータをmysqlテーブルに挿入します。 url = "jdbc:mysql://hostname/myDB?user=xyz&password=pwd" df.write.jdbc(url=url, table="myTable", mode="append") Iは、その列の値および特定の数の和で（主キーではない）列の値

5熱

3答えて

Flaskアプリからのスパークへのアクセス

Sparkにデータを渡すための簡単なFlaskアプリを作成しました。このスクリプトはIPython Notebookで動作しますが、自分のサーバで実行しようとしたときは動作しません。 Sparkコンテキストがスクリプト内で実行されているとは思わない。次の例でSparkを動作させるにはどうすればよいですか？ from flask import Flask, request from pyspark

24熱

1答えて

Spark DataFrameを作成します。スキーマタイプを推論することはできません：<type 'float'>

Spark DataFrameでこの問題を解決するのに役立つ人がいますか？私はmyFloatRDD.toDF（）を行うと私はエラーを取得：私は理解していない TypeError: Can not infer schema for type: type 'float' をなぜ... 例： myFloatRdd = sc.parallelize([1.0,2.0,3.0]) df = myFloa

8熱

1答えて

RDDをiterableに変換する：PySpark？

私は、テキストファイルを読み込んでそれを前処理して作成しているRDDを持っています。私はそれを収集し、それをディスクやメモリ（データ全体）に保存するのではなく、むしろ他の関数をPythonで他の関数に渡したいとします。これはどのように可能ですか？ data = sc.textFile('file.txt').map(lambda x: some_func(x)) an_iterable =

43熱

2答えて

Spark DataFrameに定数カラムを追加するには？

DataFrameの列を任意の値（各行に同じ値）で追加したいとします。私は次のように私はwithColumnを使用するときにエラーが発生します： dt.withColumn('new_column', 10).head(5) --------------------------------------------------------------------------- Attribut

8熱

1答えて

スパークログのステージの平均は何ですか？

私が火花を使用してジョブを実行すると、私は次のログを取得しますか？ [Stage 0:> (0 + 32)/32] ここ 32私が求めているRDDのパーティションの数に対応しています。複数のステージと、まさに各段階で発生があり、なぜ私は得ていないのですが。各ステージには、明らかに多くの時間を要します。少ない段階で完了することは可能ですか？