pyspark-sql

1熱

1答えて

私のデータフィールドのフォーマットは次のとおりです：2016-10-15 00:00:00 私のデータを寄木張りファイルに保存している間に推論スキーマを使用した後、このフォーマットに従う。どのようにまとめてPySparkで削除できますか？私のUDFでは問題が発生しています。あなたは無効な日付と日付の列と行を解析していると仮定すると、

0熱

2答えて

PySpark JSON構文解析はPythonまたはJVMで行われますか？

sqlContext.read.json("...path.to.file...") 私はPythonでpysparkを使用してSparkスクリプトを作成しています。 JSON解析はPythonやJVMで行われますか？ Pythonの場合は、Cのsimplejson拡張を使用していますか、それともPythonのネイティブですか？ JSON解析のロットを実行していますので、ここでパフォーマンスが重要

0熱

1答えて

pySparkデータフレームに新しい列を追加するには、0より大きい列の値を数えますか？

特定の行の0より大きいすべての列値のカウントを含むpysparkデータフレームに新しい列を追加したいとします。ここは私のデモデータフレームです。 +-----------+----+----+----+----+----+----+ |customer_id|2010|2011|2012|2013|2014|2015| +-----------+----+----+----+----+---

3熱

1答えて

PythonのスパークDATAFRAME：スパークでスパーセベクター

とヌルを置き換える、私はいくつかのヌルのエントリと "DF" と呼ばれるデータフレームの次た： +-------+--------------------+--------------------+ | id| features1| features2| +-------+--------------------+--------------------+ | 185|(

2熱

1答えて

PysparkでのJSONファイルの解析

Pysparkの新機能です。次のコードを使用してJSONファイルを解析しようとしました。 from pyspark.sql import SQLContext sqlContext = SQLContext(sc) df = sqlContext.read.json("file:///home/malwarehunter/Downloads/122116-path.json") df.pri

2熱

1答えて

は、私は以下のSQLクエリのpysparkコードを記述しようとしていますIpの

の範囲からIPの詳細を見つけるために、句の間で使用して2つのpysparkのデータフレームを結合する： Create table table1 as Select a.ip_address,a.ip_number,b.ip_start_int,b.ip_end_int,b.post_code_id,b.city,b.region_name,b.two_letter_country from n

0熱

1答えて

DataFrameの浮動小数点数によるSQLパーセンタイルSpark 1.6 - 可能な回避策はありますか？

は私が sqlContext.sql("SELECT percentile(x, 0.5) FROM df") 限り、私は私が得たエラーから理解されるようにフロート番号のデータフレームにパーセンタイル0.25、0.75を計算する方法を見つけようと、パーセンタイルは整数のみ AnalysisException: u'No handler for Hive udf class org.apache

0熱

1答えて

spark-SQL CLIで利用可能なテーブルはthriftserverで利用できません

JDBC経由でthriftserver経由でspark-sqlテーブルを公開しようとしていますが、正常に接続されたように見えますが動作しません。これまで私が試したことは次のとおりです。データベースのセットアップ：一部を返さspark.sql("SELECT * FROM hive_tableX LIMIT 1").show()：pysparkで私はtableX が、私はそのテーブルを照会hiv

1熱

3答えて

除外によるisinを使用したpysparkデータフレームのフィルタリング

列の値がリスト内にない（除外によってフィルタリングする）データフレーム内のすべての行を取得しようとしています。一例として、： df = sqlContext.createDataFrame([('1','a'),('2','b'),('3','b'),('4','c'),('5','d')] ,schema=('id','bar')) 私は、データフレームを取得： +---+---+ |

1熱

2答えて

pyspark.sqlで選択してテーブルを作成する方法

select文を使用してsparkでテーブルを作成することはできますか？私は import findspark findspark.init() import pyspark from pyspark.sql import SQLContext sc = pyspark.SparkContext() sqlCtx = SQLContext(sc) spark_df = sqlCt