pyspark-sql

3熱

1答えて

エラー名「スパーク」を投げプログラム以下に定義されていませんが Traceback (most recent call last): File "pgm_latest.py", line 232, in <module> sconf =SparkConf().set(spark.dynamicAllocation.enabled,true) .set(spark.dyna

1熱

1答えて

スパークの列に基づいたデータの結合

ハイブテーブルに次の形式のデータがあります。 user | purchase | time_of_purchase 私はpysparkまたはhiveQLでこれを行うにはどうすればよい user | list of purchases ordered by time でデータを取得したいですか？私はハイブでcollect_listを使用しようとしましたが、タイムスタンプで正しく注文を保持し

3熱

1答えて

Pysparkデータフレームは、このようなコードで、UDF

私は（thisに類似）PySparkに2つのデータフレーム（DF1とDF2）のために参加したカスタムを作成しようとしているを使用して参加します私は次のようになります： java.lang.RuntimeException: Invalid PythonUDF PythonUDF#<lambda>(col_a#17,col_b#0), requires attributes from more th

4熱

1答えて

pyspark.sqlのリストからデータフレームを作成してください。

有線で完全に失われています。今、私はリストli li = example_data.map(lambda x: get_labeled_prediction(w,x)).collect() print li, type(li) 出力は似ているが、持っている [(0.0, 59.0), (0.0, 51.0), (0.0, 81.0), (0.0, 8.0), (0.0, 86.0), (0.

0熱

3答えて

列スパークデータフレームの一意の行数を取得するのに最も最適化された方法

スパークリフレッシャーのためにこのMOOCを実行していましたが、この問題が発生しました以前に作成されたデータフレームに " Apacheのログ解析は）データフレームは独自のホストの何を見つけるために、この --------------------+--------------------+------+------------+--------------------+ | host|

1熱

1答えて

pyspark GroupedDataオブジェクトをシリアル化する方法は？

私は数百万のレコードを持つデータセットにgroupBy()を実行しています。結果の出力を保存したいので、後でデシリアライズしてその時点から再開できるようにしてください（その上に集計を実行します。必要）。 df.groupBy("geo_city") <pyspark.sql.group.GroupedData at 0x10503c5d0> 私は、テキストファイルや寄木細工/アブロ形式（変換

0熱

2答えて

sparkの空のデータフレームに値を挿入する方法

SPARK sqlを使用してsparkアプリケーションを開発しています。私の仕事の1つは2つのテーブルから値を選択し、それを空のテーブルに挿入することです。しかし、このために私は空のテーブルを作成するための火花を試しています、私は、空のデータフレームを作成しているが、ここでそれを表として登録カント今私の状況でコード from pyspark import SQLContext from pysp

1熱

1答えて

ウィンドウ関数による飽和和を設計する

私は、pysparkデータフレーム内に、エンジンのイベント「startup」、「shutdown」、および「other」を表す値1、-1および0の列を持っています。 1と-1,2が常に入れ替わる場合 +---+-----+-----+ |seq|event|state| +---+-----+-----+ | 1 | 1 | 1 | | 2 | 0 | 1 | | 3 | -1 | 0

2熱

1答えて

Spark PipelineModelパラメータへのアクセス方法

私は、pysparkのSpark Pipelinesを使用して線形回帰を実行しています。線形回帰モデルが訓練されたら、どのように係数を取り出すのですか？私はPipelineModel classからメソッドを使用して試してみました # Get all of our features together into one array called "features". Do not include

1熱

1答えて

pysparkのリストのデータフレームからタプルのデータフレームを作成する方法は？ここ

は私のデータフレームです： my_df.show() +----------+ | features| +----------+ | [0,'a'] | | [1,'b'] | | [0,'c'] | | [1,'d'] | | [2,'e'] | | [0,'f'] | +----------+ （単一列「機能」で）タプルのデータフレームに変換する方法？