pyspark-sql

0熱

1答えて

こんにちは。私はhdfsから読み込み、pysparkを使ってoracleに書き込もうとしていますが、私はにエラーがあります。私は私が手私が使用していたコードとエラーを添付： Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/usr/lib/spark/python/p

0熱

1答えて

sparkSQL "paseparkの2つのテーブル列を持つケース"

私は2つのテンポラリテーブルtable_aとtable_bを持っており、このクエリとそのすべての条件が正しく動作するようにしようとしています。解決できない 'a.id' 所定の入力欄：[ID、NUM、testdate：SparkSQLを使用して、これらの二つのテーブルに上記クエリを実行 SELECT DISTINCT CASE WHEN a.id IS NULL THEN b.id ELSE a.

1熱

2答えて

別の列の値に基づいてpyspark列を変更してください

私はdfと呼ばれるpysparkデータフレームを持っています。 ONE LINE EXAMPLE: df.take(1) [Row(data=u'2016-12-25',nome=u'Mauro',day_type="SUN")] 私は休日の日のリストを持っている： holydays=[u'2016-12-25',u'2016-12-08'....] 私は「データ」holydaysリ

0熱

1答えて

リストを使用してクエリでSELECTカラムを定義する

カラム名が完全に矛盾している寄木細工ファイルからクエリを行う必要があります。この問題を解決し、モデルが正確にデータを取得できるようにするには、列リストを「プリフェッチ」し、検索する必要がある列を修飾する正規表現パターンを適用する必要があります。擬似コードの場合：これは達成可能かどうか確認するために検索しましたが、成功しませんでした。これが構文上正しい（または閉じる）場合や、他の提案がある場合は私

0熱

2答えて

Bing地図 - データフレームを使用してpysparkでroute apiを使用する方法

Bing Route APIを使用して、データフレーム列からの緯度、経度座標を渡して移動時間を計算しようとしています。 def bing_maps(x_lat, x_long, y_lat, y_long): try: par = { 'wp.0': ''.join([x_lat, ',', x_long]), 'wp.1': ''.join([y

0熱

2答えて

pysparkでヌルカラムを検出する方法

いくつかのヌル値で定義されたデータフレームがあります。一部の列は完全にNULL値です。私の場合は >> df.show() +---+---+---+----+ | A| B| C| D| +---+---+---+----+ |1.0|4.0|7.0|null| |2.0|5.0|7.0|null| |3.0|6.0|5.0|null| +---+---+---+----+ 、

0熱

1答えて

PySparkのマージクエリが失敗しました

私はpysparkからマージクエリを実行していますが、キーワード "merge"はsparkによって認識されていません。 17/11/27 14:39:34 ERROR JobScheduler: Error running job streaming job 1511793570000 ms.1 org.apache.spark.SparkException: An exception was

0熱

3答えて

Pythonで%%で囲まれた文字列を小文字に変換します

フィールドの1つに%% .. %%で囲まれたpysparkデータフレームがあります。同封された内容は大文字と小文字の区別がありません。私は小文字に変換したい。以下は、データフレームのスナップショットです。 https://www.xxxxxxxx.co.nz/Activities|http://www.xxxxxxxx.co.nz/things-to-do/search?location=%%t

1熱

1答えて

Pyspark Dataframe - 文字列を数値にマップする

2熱

1答えて

Spark（PySpark）ファイルが既に存在する例外

データフレームをテキストファイルとして保存しようとしていますが、ファイルがすでに存在するという例外が発生しています。私はコードにモードを追加しようとしましたが、無駄になりました。さらに、ファイルは実際には存在しません。誰も私がこの問題をどのように解決できるか考えているだろうか？ distFile = sc.textFile("/Users/jeremy/Downloads/sample2.nq")