pyspark-sql

0熱

1答えて

私はスパークの新しいユーザーです。私はパテを使用してリモートLinux OSベースのPCで作業しています。私は私のLinux PCで再入力して、私はこのエラー java.sql.SQLException: Unable to open a test connection to the given database. JDBC url = jdbc:derby:;databaseName=metas

1熱

5答えて

spark-sqlで更新クエリを実行するには

私はspark.jpの初心者です。とにかく私はspark-SQLでUpdateコマンドを操作できます。私はすでに挿入、選択、削除のようないくつかのSQL構文クエリを操作したが、更新コマンドを実行することができなかったハイブテーブルを作成しました。私はsparkのドキュメントとhttps://docs.datastax.com/en/datastax_enterprise/4.6/datastax_

0熱

1答えて

Hadoopでpysparkを実行しているときにファイル例外ではない

2つのdiffソースから2つのデータセットをHiveにスクープします。私は、列の上の文字列のインデックスのようないくつかの分析機能を実行するためにHiveContextによってpysparkにこの表を使用し create table db.table as select table 1 union select table 2 を使用してハイブ内の2つのテーブルの和を作成しました。 hc=Hi

2熱

1答えて

win7 pyspark sql utils IllegalArgumentException

pycharmでpysparkを実行しようとしています。私はすべてを接続し、環境変数を設定しました。私はsc.textFileを読むことができますが、pyspark.sqlからcsvファイルを読み込もうとすると、何かが間違っていました。ここではコードです：ここでは import os import sys from pyspark import SparkContext from pysp

1熱

1答えて

PySpark SQL：.withColumnコールの統合

私はSpark SQL DataFrameに変換したRDDを持っています。私はこのような何かを探して終わるのUDFの列の変換の数、やりたい：などを df = df.withColumn("col1", udf1(df.col1))\ .withColumn("col2", udf2(df.col2))\ ... ... .withColumn("n

5熱

1答えて

Spark ML Pipeline原因java.lang.Exception：コンパイルに失敗しました...コード... 64 KBを超えて拡大

Spark 2.0を使用して、単純なVectorAssemblerをpyspark MLパイプラインで実行しようとしています： feature_assembler = VectorAssembler(inputCols=['category_count', 'name_count'], \ outputCol="features") pipeline = Pipelin

0熱

1答えて

私が書きたい

、私はスパークデータフレームがあるとし data.show（） ID URL 1 https://www.sitename.com/&q=To+Be+Parsed+out&oq=Dont+Need+to+be+parsed 2 https://www.sitename.com/&q=To+Be+Parsed+out&oq=Dont+Need+to+be+parsed 3

0熱

1答えて

スパークSQLのJSONエラー

私が提案してください..私は以下のコードとエラーを配置している。.. SQLコンテキストを使用しますが、以下のエラーを取得jsonrdd作成しようとしました。.. マイコード： rdd1=sqlContext.jsonRDD('/idn/home/ijamalmo/ibfiles/datafiles/sampledata.json') エラー Traceback (most recent ca

1熱

2答えて

PySparkの比較演算子（等しくない/！=）

2つのフラグが '1'に設定されたデータフレーム内のすべての行を取得しようとしています。他の等しくない、次のスキーマ（3列）で '1' から、 df = sqlContext.createDataFrame([('a',1,'null'),('b',1,1),('c',1,'null'),('d','null',1),('e',1,1)], #,('f',1,'NaN'),('g','bla',1

0熱

2答えて

Spark Dataframeカラムのデータを条件として使用するか、別のカラム式に入力する

PySpark 2.0で実行したい操作はdf.rdd.mapとして実行しやすいが、Dataframe実行エンジンのパフォーマンス上の理由から、Dataframe操作のみを使用してこれを行う方法を見つけたいと思います。操作、RDD-スタイルで、このようなものされています。基本的に、私は私の文字列の書式設定操作の精度がどうあるべきか、行ごとに、私に語ったコラムを def precision_form