pyspark-sql

0熱

1答えて

2つの列を返すSQLクエリがあります。結果をファイルにマッピングしながら一緒に参加する必要があります。が、私はこの試みた：これはエラーを与えるものではありません results = sqlContext.sql(query) results.map(lambda p: ('::'.join(str(p.title),str(p.genres))).repartition(10).saveAs

4熱

1答えて

GroupByKeyと値のリストを作成するには、だから私はのように見える火花データフレーム持っているSQLデータフレーム

をpyspark： a | b | c 5 | 2 | 1 5 | 4 | 3 2 | 4 | 2 2 | 3 | 7 そして、私は列によってグループにをしたいが、列Bから値のリストを作成し、 cについて忘れる出力データフレームは次のようになります。 a | b_list 5 | (2,4) 2 | (4,3) pyspark sqlデータフレームでこれを行う方法はありますか？

0熱

1答えて

Pyspark - データフレームforeach関数が複数のワーカー/並列化で動作しない

EC2に1マスターと2スレーブを持つSpark StandAloneクラスタを実行しています。クラスタが動作しています。私はs3からデータをロードするpythonアプリケーションを持っています。以下のコードは次のとおりです。 spark = SparkSession.builder.appName("Example").getOrCreate() df = spark.read.csv("s3n

1熱

1答えて

Pyspark +ハイブのアブロテーブル

私はハイブアブロテーブルを作成し、pysparkからそれを読み取ろうとします。基本的には、いくつかの分析を行うために、pysparkのこのハイブのavroテーブルに対して基本的なクエリを実行しようとしています。 from pyspark import SparkContext from pyspark.sql import HiveContext hive_context = HiveCon

-1熱

1答えて

Pysparkとのマージ

私はPysparkで作業していますが、私はSpark 1.6を持っています。そして私はいくつかの値をグループ化したいと思います。 +--------+-----+ | Item |value| +--------+-----+ | A | 187| | B | 200| | C | 3| | D | 10| Iグループに一緒に以下の10％の合計値を持つすべてのアイテムした

0熱

1答えて

pyspark sqlにテーブルを保存するには？

結果のテーブルをcsv、テキストファイルなどに保存して、RStudioで視覚化できるようにしたい。私は、hadoop設定でいくつかのクエリを実行するためにpyspark.sqlを使用しています。私は結果をhadoopに保存し、その結果を私のローカルドライブにコピーしたい。 myTable = sqlContext.sql("SOME QUERIES") myTable.show() # Sho

2熱

1答えて

Collate NoCaseがエラーを返す

私はあなたのフレームワーク内でSQLクエリを書くことができるPySparkとSQL Contextを使用しています。何らかの理由でこのコマンドが機能していないため、なぜその理由がわかりません。 complaint_by_city = sqlContext.sql('SELECT City, COUNT(*) as `city_comp` ' 'FROM c311 '

3熱

1答えて

大規模なPySparkデータフレームを正規化すると、CodeGenが64 KBを超えてエラーになります

私は1,300万行と800個の列を持つPySparkデータフレームを持っています。このデータを正規化する必要があります。このコードは、小さな開発データセットで動作します。 at org.apache.spark.sql.catalyst.expressions.codegen.CodeGenerator$.org$apache$spark$sql$catalyst$expressions$cod

0熱

1答えて

PySpark DataFrameのパンダコードを変更する

グラフを作成するために使用する次のスニペットがあります。私はそれをPySparkで動作するように修正したいが、進める方法はわからない。問題は私がPySparkの列を反復することができず、私はこれを関数にしようとして失敗したことです。コンテキスト：データフレームは cities = [i.City for i in df.select('City').distinct().collect()]