pyspark-sql

0熱

1答えて

pysparkで破損したレコードが表示された後保存されたjsonファイルからデータフレームを作成

私はsparkフォルダ内のurljson.jsonというjsonファイルにurlからjsonデータを保存しました。そしてルートを示している私は tesdf1.printSchema() 怒鳴るフォーマットを実行した後に、このを持っているこの path="urljson.json/" testdf1=spark.read.json(path) testdf1.show() ことによ

0熱

1答えて

内側混乱するIは、内側使用pyspark

に参加このようpysparkシェルに参加：私は内部結合のために同じテーブルを使用 tab_df=ori_df.join(ori_df,ori_df.columns,'inner') ので、tab_df.count()はori_df.count()として等しくなければならないことが予想されるべきであるが、 tab_df.count()私に0を与える！

0熱

1答えて

文字列値から数値コードを取得するには？

私はpyspark.sqlを用いたスパークにCSVファイルをインポートしてによって一時テーブルとしてそれを登録した次のような値を持っている「geo_location」と呼ばれる列がある「geo_table」テーブルでは import pyspark from pyspark.sql import SQLContext sc = pyspark.SparkContext() from pysp

1熱

1答えて

pyspqrk sqlハイブテーブルの不良データ

Pysparkで25億レコードのハイブテーブルを使用しようとしています。テーブルに不正な形式のデータや何らかの形で「悪い」データがあるとします。私は、Pythonのバージョン2.6.6でスパークバージョン1.6.2を使用しています：表を読むために from pyspark import SparkContext, SparkConf from pyspark.sql import HiveC

1熱

1答えて

新しい列にSpark DataFrameをフィルタリングする

コンテキスト：メモリに収まらないデータセットがあります。私はKeras RNNを訓練しています。私はAWS EMRクラスタ上でPysparkを使用して、メモリに格納するのに十分小さいバッチでモデルをトレーニングしています。私はelephasを使ってモデルを分散して実装することができず、これは私のモデルがステートフルであることに関係していると思われます。私は完全に確信していません。データフレームは

1熱

2答えて

pyspark createdataframe：タイムスタンプとして解釈される文字列、スキーマが列を混合する

私は、文字列がタイムスタンプとして評価される原因となるsparkデータフレームに本当に奇妙なエラーがあります。 from datetime import datetime from pyspark.sql import Row from pyspark.sql.types import StructType, StructField, StringType, TimestampType n

1熱

1答えて

Pyspark - ロードファイル：パスが存在しません

私はSparkの初心者です。私はEMRクラスタ内のローカルCSVファイルを読み込もうとしています。ファイルは/ home/hadoop /にあります。私が使用しているスクリプトは、このいずれかになります。 spark = SparkSession \ .builder \ .appName("Protob Conversion to Parquet") \ .conf

2熱

1答えて

SparkSessionを作成するときにIllegalArgumentExceptionが発生する

spark 2.1.0とpython 2.7でpysparkとjupyterノートブックを使用しています。以下のコードを使用して新しいSparkSessionを作成しようとしています。 from pyspark import SparkContext from pyspark import SparkConf from pyspark.sql import SparkSession from