pyspark-sql

15熱

1答えて

Dataframe.explodeは、これを行うには便利な方法ですが、元のデータフレームよりも多くの行が表示されることを私は何度も望んでいます。 rdd.map(lambda row: row + [row.my_str_col.split('-')]) のように見える何かを取ります： col1 | my_str_col -----+----------- 18 | 856-yyg

5熱

3答えて

pyspark、スパーク：最後の行を選択する方法も最後の行を取得する方法</p> <pre><code>name age city abc 20 A def 30 B </code></pre> <p>ようpysparkのSQLのデータフレームからインデックス

によってpysparkのデータフレームにアクセスする方法（df.limitによると同様に（1）。私は新しいデータフレームにデータフレームの最初の行を得ることができます）。 index.like行番号でデータフレーム行にアクセスするにはどうすればよいですか。 12または200である。パンダで私は df.tail(1) # for last row df.ix[rowno or index] #

2熱

1答えて

Pyspark DataFrame - 変数を使って結合する方法は？

私は、Python上でSpark Data Framesを使用して2つのデータフレームに参加するのに苦労しています。私は2つのデータフレームを持っているので、各データフレームごとにユニークにするためにカラムの名前を変更しなければならなかったので、後でどのカラムがどのカラムであるかを知ることができました。私は（firstDfとsecondDfがスパークデータフレームは、関数createDataFra

0熱

1答えて

Zeppelin 0.6.1のSpark 2.0 - SQLContextが利用できません

Linuxサーバーでspark 2.0とzeppelin-0.6.1-bin-allを実行しています。デフォルトのスパークノートはうまく動作しますが、sqlContextを使ってpysparkで新しいノートブックを作成して実行しようとすると、「py4j.Py4JException：Method createDataFrame（[class java.util.ArrayList、class jav

1熱

1答えて

pyspark sqlがgroup by節で正しくカウントされないのはなぜですか？

私はこのようなSQLコンテキストに寄木細工のファイルをロードします。私はからGROUPBYを使用している場合、しかし、 +----------------+----------+ |count(name) |name | +----------------+----------+ | 0| null| | 226307| x| +----------------+--

0熱

1答えて

sparksqlドロップハイブテーブル

sparksqlでハイブテーブルを削除したいとします。 hadoop 2.6、ハイブ2.0、スパーク1.6、およびスパーク2.0がインストールされているクラスタ。私は両方のバージョンでpysparkシェルとspark-submitジョブで次のコードを試しました。 sqlContext.sql('drop table test') //spark 1.6 spark.sql('drop table

0熱

1答えて

充填データフレームの列が

私は、私のようなデータセットを持って、ここでは非常に興味深い問題を抱えている id, start, end 1234 200 400 1235 300 500 1236 100 900 1236 200 1200 1236 300 1400 主な目的：私は、それぞれの同時セッション数をカウントしますid。 at 100, id:1236 has

0熱

1答えて

SparkSQLでカラム名を解決できない

なぜこのようなことが起こっているのか分かりません。 PySparkでは、2つのデータフレームを読み込んで列名を出力していますが、それらは予期したとおりですが、SQL結合が行われると、入力があっても列名を解決できないエラーが発生します。私はそれを動作させるためにマージを単純化しましたが、なぜ私がSQLを使用しているのかという理由で、より多くの結合条件を追加する必要があります（ "and b.mnvr

0熱

2答えて

lit（）を使ってSparkで新しい列を作成する

私はSparkとPythonの新機能ですので、これはもっと経験豊かな人には分かります。 1つの列を手動で作成しましたが、すべての値が「s」である別の列を作成したいとします。私が取っているコースでは、lit（）関数を使うことを提案しています。しかし、私は私の人生のためにどのように考え出すことはできません。このコードは、このエラーを与える：「例外TypeError：『列』オブジェクト呼び出すことはで

0熱

1答えて

火花データフレーム：2つのブール条件

に新しい列を作成します。私はビット単位で2つのブール条件に基づいて、私のデータフレームを変異させたいAND演算 df %>% mutate(newVariable = ifelse(variable1 == "value1" & variable2 == "value2, variable3, NULL) のでpysparkで、それは、このテスト：を import pyspark.sql.f