pyspark-sql

2熱

1答えて

私は、次のようなエラーになっています多項ロジスティック回帰モデルに from pyspark.sql import SparkSession spark = SparkSession.builder.appName('prepare_data').getOrCreate() from pyspark.sql.types import * spark.sql("DROP TABLE IF E

0熱

1答えて

Sparkのデータフレーム集約のパフォーマンスを測定したいと思います。行動を数えたり集める？

Sparkのデータフレームのパフォーマンス結果統計を作成したいと思います。私はgroupByの後にcount（）アクションを呼び出し、それにかかる時間を測定しています。 df.groupBy('Student').sum('Marks').count() しかし、count（）の代わりにcollect（）を使用すると、結果に10時間以上かかることがわかりました。どうして？私が上記のようなベン

0熱

1答えて

spark 1.6でDataFrameをcsvファイルに保存する方法は？

私は、uni_keyとcreatedDateの2つの列を含むデータフレームで作業しています。私はSQLクエリを実行し、結果を 'a'に保存して、これらの結果をcsvファイルに保存します。これを行う方法はありますか？ import sys from pyspark import SparkContext from pyspark.sql import SQLContext, Row impor

0熱

2答えて

Sparkはデータフレームからセーブ可能な推測可能なスキーマを持っています

私はSpark 2.0を使用しています。データフレームに値を選択して新しいテーブルを作成する必要があります。 df.write.saveasTableとしてDFを書き出しながら（hive_table_name、フォーマット= '寄木細工'、モードが= '上書き'）エラーは次のとおりです。[TOKEN、KERBEROS] ホスト：クライアントが経由して認証することはできません詳細：ローカルホスト

0熱

1答えて

Apache Phoenix Sparkプラグインを使用してSparkプラグインに接続し、カスタムSQLクエリを実行する

PhoenixをJDBCデータソースとして使用するのではなく、Phoenix Sparkコネクタを使用してSparkに接続する方法を教えてもらえますか？号https://phoenix.apache.org/phoenix_spark.html）。これはPhoenixドライバで実行しようとしたが、「テーブルが見つかりません」という例外がスローされます。 Traceback (most recen

0熱

1答えて

PySparkのGeoTextとUDF

私はPySpark（Spark 2.1.0とpython 3.5）のnoobieです。私は渡すことができない問題があります。私はUDFでGeoTextを使用しようとは、ここに私のコードは次のとおりです。 def countries(x): count = GeoText(x).countries w = '' if not count: return '

0熱

1答えて

私はStudentAddress除くテーブル内のすべての列を選択したいので、私は、クエリ、次の書いたスパークSQL

内のすべての特定の列を除いて選択します。 select `(StudentAddress)?+.+` from student; それはリスSQLクライアントでエラーを次与えます。 org.apache.spark.sql.AnalysisException：あなたは、特定の列を削除して、すべての列を選択するために、データフレームのAPIでdrop()方法を使用することができます「(Stude

0熱

1答えて

Jupyterノートブックを使用してSpark SQLを使用して4億行を引き出す

私はSparkを初めて使用しており、結果セットに4億行に近いSpark SQLを実行しようとしています。私はJupyterノートブックからSpark SQLを実行しています。 Azure HDInsightでSparkを使用しています。限り、私は実行すると4098メガバイト - - エグゼキュータの3 数 - 5 キュータメモリキュータあたりのコア番号：スパーククラスタの構成は次のとおり私に行の

0熱

1答えて

pysparkデータフレーム内のマップの配列を1つのマップに結合

（グループ化された）pysparkデータフレーム内のマップの列を1つのマップに集約するcollect_listまたはcollect_setと同様の機能はありますか？たとえば、この関数は次のように動作している場合があります。 >>>df.show() +--+---------------------------------+ |id| map | +--+----------