pyspark-sql

0熱

1答えて

"java.lang.OutOfMemoryError：pyspark collect_list（）の実行中に要求された配列のサイズがVMの制限を超えています"

私は約40列の浮動小数点数を持つ5,000万行の大きなデータセットを持っています。カスタム変換の理由、私は次の擬似コード使用して、pysparkのcollect_list()機能を使用して、列ごとに、すべての浮動小数点値を収集しようとしています：列ごとに for column in columns: set_values(column, df.select(collect_list(c

0熱

1答えて

PySpark - 動的にセルの値に応じてCOLを更新

これは私がPysparkを使用していますここhttps://stackoverflow.com/questions/35898687/adding-column-to-pyspark-dataframe-depending-on-whether-column-value-is-in-anoth を掲示問題の修正版である（1.6をスパーク）私は、次のデータがありますを +----+----+---

0熱

2答えて

pysparkでパーセンテージの頻度を取得する方法

pysparkでパーセンテージの頻度を取得しようとしています。私はここから％の周波数を取得するにはどうすればよい # Dates in descending order of complaint frequency df.createOrReplaceTempView('Comp') CompDF = spark.sql("SELECT Company, count(*) as cnt \

0熱

1答えて

値の交互のグループに対するPysparkの自動インクリメント

Pkeparkを使用してSpark DataFrameで新しい列を作成しようとしています。これは、ブール値が交互になるグループに基づいて自動インクリメント（またはID）を表します。 df.show() +-----+------------+-------------+ |id |par_id |is_on | +-----+------------+-------------+ |4

-1熱

2答えて

pyspark - 集合の2列

私は、collect_set関数から形成された2つの列を持つスパークデータフレームを持っています。私はこれらの2列の集合を1列の集合に結合したいと考えています。私はどうすればいいですか？ Food [Apple,Orange,Pear, Beef, Chicken, Pork] 事前にあなたの助けのためにありがとうございました。彼らは、私はにそれを回すにはどうすればよいcollect_se

0熱

1答えて

スパークデータフレーム列をベクトルからセットに変換する方法は？

頻出アイテムセットを識別するためにデータセットを処理する必要があります。したがって、入力列はベクトルでなければなりません。元の列は、カンマで区切られた項目の文字列ですので、私は次のようでした： functions.split(out_1['skills'], ',') 問題がskillsで、一部の行のために、私は重複した値であるとしようとしたとき、これは、エラーの原因となっています頻出アイテム

8熱

1答えて

なぜMongo Sparkコネクタがクエリに対して異なるカウントと不正確なカウントを返すのですか？

私はプロジェクトのMongo Sparkコネクタを評価していますが、矛盾した結果が出ています。私はMongoDBサーバーバージョン3.4.5、Spark（PySpark経由）バージョン2.2.0、Mongo Spark Connectorバージョン2.11; 2.2.0をローカルで使用しています。私のテストDBではEnronデータセットを使用しますhttp://mongodb-enron-emai

0熱

1答えて

pyspark内のすべての公称変数をカテゴリ変数に変換する

私はPyFarkデータフレーム内のすべてのString型変数をカテゴリ変数に変換した後、データフレーム上で決定木を実行できます。私はパンダを使うことができず、リソースの制約のためにPySparkライブラリしか使用できません。私は可能な解決策としてVectorIndexerを識別しましたが、と言うことができるすべてのStringタイプの列をどのように変換するのか分かりません。誰かがそれを行う方法の