pyspark-sql

-1熱

1答えて

.collect（）のパフォーマンスを向上させるために、pysparkを調整する他の方法はありますか？私はmap(lambda row: row.asDict(), x.collect())を使用しています。これは、10Kレコードに対して5秒以上かかるものです。

2熱

2答えて

Pyspark - mmddyyをYYYY-MM-DDに変換する

私は大きなファイルを扱っています。このファイルは、mmddyy形式のフィールドの1つにデータ型としての文字列を持ち、YYYY-MM-DDに変換する必要があります。私はUDFを作成しようとしましたが、ポストの1つを参照して変換していますが、そのスローエラーです。サンプルコード：データフレームで実際のフィールド： +-----------+ |DATE_OPENED| +-----------+

1熱

2答えて

Spark DataFrameからリストに複数の列名をドロップする方法はありますか？

私は、nの値に基づいて作成された動的リストを持っています。 n=3 drop_lst = ['a'+str(i) for i in range(n)] df.drop(drop_lst) しかし、上記は機能しません。注：私の使用目的には動的リストが必要です。私はちょうどリストなし以下行う場合、それは df.drop('a0','a1','a2') がどのように私はリストとドロップ機

-1熱

1答えて

合計でpysparkグループ

私は4列のpysparkデータフレームを持っています。 ID /番号/値/ X私は列のID、番号をGROUPBY、その後、IDと数当たりの価値の合計と新しい列を追加したい。私はそれに何もせずにコロンブスxを維持したい。終わり df= df.select("id","number","value","x") .groupBy('id', 'number').withColumn("su

0熱

1答えて

Pyspark - pysparkで現在のビジネスビューを作成する

pysparkにbussiness current viewと同等のものを作成する必要があります。履歴ファイルとデルタファイル（IDと日付を含む）があります。最終的なデータフレームを作成する必要があります。各idの単一レコードがあり、そのレコードは最新の日付でなければなりません。 df1=sql_context.createDataFrame([("3000", "2017-04-19"), ("

1熱

1答えて

ラムダ内の正規表現を持つpyspark分割文字列

ラムダ関数内の正規表現に基づいて文字列を分割しようとしていますが、文字列は分割されません。私は正規表現がうまく動作していると確信しています。正規表現のテストリンク https://regex101.com/r/ryRio6/1 from pyspark.sql.functions import col,split import re r = re.compile(r"(?=\s\w+=)")

2熱

1答えて

Spark SQL：別のSELECTステートメントの列（バイナリ検索ツリー）

SparkSQLを使用してBSTを構築しようとしていますが、これはメインSELECTステートメント内の別のSELECTステートメントを使用して簡単に行うことができます。 BSTのグラフィカルな表現は以下の通りである：入力BST.Goalの行 - 列表現である入力テーブルデータを用いて、出力テーブルを生成することです。ルート：なし親ノードを持たないインナー：親ノードだけでなく、子ノードを持つ

0熱

1答えて

にjava.io.IOException：番組「パイソン」を実行することはできません：CreateProcessをエラー= 2を、システムがファイルを見つけることができません

を指定された私は、私はSPARKとPythonの最新バージョンを使用していますpyspark で日食を構成しました。何かをコード化して実行しようとすると私はエラー以下になる。 java.io.IOException: Cannot run program "python": CreateProcess error=2, The system cannot find the file specif

0熱

1答えて

エラー：com.mongodb.MongoCursorNotFoundException：MongoDBからSparkへの読み込み中

私は234百万のレコードでSparkのMongoDBでコレクションを読み込もうとしています。私は唯一のフィールドが欲しい。 case class Linkedin_Profile(experience : Array[Experience]) case class Experience(company : String) val rdd = MongoSpark.load(sc, ReadC

-3熱

1答えて

データフレームを比較するpyspark intersection（）関数

以下は、2つのデータフレームを比較し、交差関数を適用するために書いたコードです。 import os from pyspark import SparkContext sc = SparkContext("local", "Simple App") from pyspark.sql import SQLContext, Row sqlContext = SQLContext(sc) fr