pyspark-sql

0熱

1答えて

ランダムフォレストのトレーニングセットのクラスラベルを保持するデータフレームにdouble型の列があります。 another questionで提案されているように、データフレームをStringIndexerに渡す必要がないように、手動でメタデータを列に添付します。これを行う最も簡単な方法は、Columnのasメソッドを使用することです。しかし、このメソッドはPythonでは利用できません。

1熱

2答えて

PySparkで2つのRDDの完全な外部結合を行うには？

2つのRDDをキーで結合する方法を探しています。は考える：ID、国コードと郵便番号： x = sc.parallelize([('_guid_YWKnKkcrg_Ej0icb07bhd-mXPjw-FcPi764RRhVrOxE=', 'FR', '75001'), ('_guid_XblBPCaB8qx9SK3D4HuAZwO-1cuBPc1GgfgNUC2PYm4=', '

0熱

1答えて

Sparkでタイムスタンプから整数を抽出する新しい文字列を作成するには？

私はタイムスタンプ列を持つスパークデータフレームを持っています。 "YYYYMM"という形式の文字列を持つ新しい列が必要です。私が試した： df.withColumn('year_month',year(col("timestamp")).cast("string")+month(col("timestamp")).cast("string")) しかし、私のタイムスタンプが2016年10月

1熱

1答えて

データフレームをsparkでavroに書き込む際にエラーが発生しました：NoSuchElementException

データフレームをsparkでavroファイルに保存しようとしていますが、データフレームが1つだけ失敗した場合。なぜならjava.util.NoSuchElementExceptionの def write_df_avro(df, outputFolder, outputFile): outputFile = os.path.join(outputFolder, outputFile)

0熱

1答えて

RDDを2つのRDDに分割し、その結果をPySparkでRDDとして保存する方法は？

私は、RDDを2つ以上のRDDに分割し、2つの分離したRDDとして得られた結果を保存する方法を探しています。 rdd_test = sc.parallelize(range(50), 1) マイコード： def split_population_into_parts(rdd_test): N = 2 repartionned_rdd = rdd_test.repartit

2熱

1答えて

スパークパフォーマンス個別レコード参照

私はSpark SQLとHive on Tez間の既存の内部Hiveテーブルのクエリを比較するパフォーマンステストを実施しています。テスト中、Sparkは、TezのHiveよりも速く、または高速のクエリ実行時間を示していました。これらの結果は、そこの多くの例と一致しています。ただし、個々のレコードレベルでキーベースの選択を伴うクエリでは例外が1つありました。この例では、SparkはTezのHive

8熱

1答えて

がpyspark 1.6.2ではpyspark

にCOL機能を見つけることができません、私は from pyspark.sql.functions import col でcol機能をインポートすることができますが、私はGithub source codeでそれを検索しようとすると、私はfunctions.pyファイルに何col機能を見つけていない、どのようにすることができますPythonは存在しない関数をインポートしますか？

0熱

1答えて

RDDで関数を使用して新しい列（Pyspark）を取得する方法は？

PySparkを使ってRDDに関数を適用し、その結果を新しい列に入れる方法を探しています。データフレームと、それは簡単になります。を考える： rdd = sc.parallelize([(u'1751940903', u'2014-06-19', '2016-10-19'), (u'_guid_VubEgxvPPSIb7W5caP-lXg==', u'2014-09-10', '2016-10-

4熱

1答えて

pysparkのRDD to DataFrame（rddの最初の要素の列）

私はcsvファイルからrddを作成しました。最初の行はそのcsvファイルのヘッダー行です。今はそのrddからデータフレームを作成し、rddの第1要素からの列を保持したいと思います。問題：私はrdd.first（）のデータフレームと列を作成できますが、作成されたデータフレームの最初の行はヘッダーそのものです。それを取り除くには？ lines = sc.textFile('/path/data.cs

1熱

2答えて

PySparkエラー：はAttributeErrorは：「NoneType」オブジェクトは、「_jvm」

何の属性を持っていない私はの形式であるタイムスタンプデータセットを持っていると私は、このデータセットを処理して、キー値のマップとして返すようにpysparkでUDFを書かれています。しかし、エラーメッセージの下になっています。データセット：df_ts_list +--------------------+ | ts_list| +--------------------+ |[