pyspark-sql

2熱

2答えて

sparkを使用してCSVファイルから降順を取得し、整数に丸めたいとします。zhvi しかし、コードの最後にsort(desc("Zhvi"))を試してみます。それは常に私にエラーを与える。 from pyspark.sql.functions import col, desc stateByZhvi = home.select('State','Zhvi').groupBy((col("Sta

0熱

2答えて

PySparkを使用してHBaseテーブルに書き込み中にエラーが発生しました

pySparkを使用してhbaseテーブルに書き込もうとしています。これまでのところ、hbaseからデータを読み取ることができました。 hbaseテーブルに書き込むときに例外が発生します。次の形式でコマンドを実行 from pyspark.sql import SparkSession from pyspark import SparkContext from pyspark.sql.type

0熱

1答えて

PySpark私はPySparkを使用しています

に大きなスパークデータフレーム内の行の各サブセットにマップの操作を行うと、私がやりたいことは以下のとおりです。方法：は大きなスパークデータフレームDFは、すべてのレコードが含まれて。私はこのdfの 'id'カラムで分割されたレコードの各サブセットで並列計算を行いたいと思っています。私は現在の考えることができる方法は次のとおりです。（私は説明するために単純な例を使用します） dicts = [

1熱

1答えて

- はImportError：てきぱきと名付けられませんモジュール

でも、私は以下のコードからpyspark.sql.snappyインポートSnappyContextをインポートしようとするたびにpysparkとsnappydataを再インストールした後：私が得る from pyspark.sql.snappy import SnappyContext from pyspark.storagelevel import StorageLevel SparkCon

1熱

1答えて

Pysparkラウンド関数で問題が発生しました

pysparkのラウンド関数がうまく動作しない場合 - new_bid列を小数点以下第2位に丸めようとするコードブロックがあります。その後、bidという名前に変更してください - 私は参考のためにpyspark.sql.functions AS funcをインポートし、その中に含まround機能使用しています： output = output.select(col("ad").alias("ad_

1熱

1答えて

2つのデータフレームを結合して新しいデータフレームに格納する

2つのスパークデータフレームがあります。データフレームA： Col_A1 Col_A2 1 ["x", "y", "z"] 2 ["a", "x", "y"] 3 ["a", "b", "c"] データフレームB： Col_B1 "x" "a" "y" 私が持っている、と言う、そのCol_A2におけるデータフレームBの"x"、それが新規としてそれを返すデータフレームA

1熱

1答えて

変換火花データフレーム

は、我々はデータフレームのアイリスを持っていると言います。今 import pyspark.sql.functions as F get_max_3 = F.udf( lambda x: sorted(x)[-3:] ) agged = df.groupBy('species').agg(F.collect_list('sepal_width').alias('sepal_widt

2熱

1答えて

[]形式のリストを（）形式に変換する方法

私は数億のレコードを持つ大きなデータフレームを持っています。私はdfの10％しか必要としないので、dfを読んでいる間にdfをフィルタリングしています。フィルタ条件は動的で、ある実験から別の実験に変化します。私はフィルタの値を取得しています、そこから別のDFがあります： filter = "filter_condition in" + tuple(df1.select("xxx").rdd.fla

2熱

1答えて

グループ化して、私は次のデータフレーム持ってスパーク

で標準化：全体の列ベクトルを標準化し、私は、各キーのデータフレームを標準化したいとませ import pandas as pd import numpy as np df = pd.DataFrame([[1,2,3],[1,2,1],[1,2,2],[2,2,2],[2,3,2],[2,4,2]],columns=["a","b","c"]) df = df.set_index("a")

0熱

1答えて

pyspark：ネストされたキーに基づいてテーブルを結合する

私は以下の例のスキーマを持つ2つのテーブルを持っています。テーブルAのキーはテーブルBのリストに入れ子になっています。テーブルAとテーブルBをテーブルAのキーに基づいて結合してテーブルCを生成したいと思います。テーブルAの値はテーブルCの入れ子構造にする必要があります表BのkeyAsのリスト。どのようにpysparkを使ってこれを行うことができますか？ありがとう！ Aを結合するための表A roo