pyspark

0熱

1答えて

TypeError： 'DataFrameReader'オブジェクトが呼び出し可能ではありません

私はPySparkを使用してcsvファイルを読み取ります。以下は私の簡単なコードです。上記のコードを実行する際 from pyspark.sql.session import SparkSession def predict_metrics(): session = SparkSession.builder.master('local').appName("PredictFaceb

0熱

1答えて

PySparkのマージクエリが失敗しました

私はpysparkからマージクエリを実行していますが、キーワード "merge"はsparkによって認識されていません。 17/11/27 14:39:34 ERROR JobScheduler: Error running job streaming job 1511793570000 ms.1 org.apache.spark.SparkException: An exception was

1熱

1答えて

mysqlからデータをインポート中

mysqlからpysparkにデータをインポートしようとしています。私はmysqlからpysparkへのデータをデータフレームとして得ることができます。しかし、daylightsavings時間のタイムスタンプ列のデータフレームに間違った時間が表示されます。以下は、夏時間中にデータを取得したテーブルのデータです。 MySQLのデータ id Package_time System_time

0熱

3答えて

デフォルトでHDFSに書き込むようにpysparkを設定するにはどうすればよいですか？

私は、デフォルトでHDFSへの書き込み書き込みをしようとしています。現在、RDDでsaveAsTextFileを呼び出すと、ローカルのファイルシステムに書き込まれます。具体的には、私がこれを行う場合： rdd = sc.parallelize([1,2,3,4,5]) rdd.saveAsTextFile("/tmp/sample") これは/ tmp/sampleと呼ばれる私のローカルファ

0熱

2答えて

PostgreSQLでSpark DataframeをUTF-8エンコーディングで書く

私はPostgreSQLに保存する必要があるSpark Dataframeを持っています。これは、エンコードしようとしているデフォルトPysparkでいるようだ df.write.jdbc(url=jdbc_url, table='{}.{}'.format(schema_name, table_name), mode='overwrite', properties=properties) ：

-2熱

1答えて

PySpark：ERROR SparkContext：SparkContextの初期化中にエラーが発生しました。 java.nio.file.AccessDeniedException：

（新着スパーク）私はLinuxマシンでPOCを実行するためにスタンドアロンでインストールされています。すべてがOK探していたと我々のコードがうまく働いていた私たちは、以下の断続的なエラー取得を開始：働いた、私は疲れてコードを移動 ERROR SparkContext: Error initializing SparkContext. java.nio.file.AccessDeniedExce

2熱

1答えて

Pyspark Pyodbcに相当する？

私は現在、パンダにローカルのSQL ServerのDBからテーブルを読み込むために、次のPythonコードを持っている：コードが機能することを import pandas as pd import pyodbc # Connect to DB server = 'server' db = 'db' conn = pyodbc.connect('DRIVER={SQL SERVER};

2熱

1答えて

pyspark/EMRの大きなDataFrameのcollect（）またはtoPandas（）

私は1つのマシン "c3.8xlarge"のEMRクラスタを持っていますが、いくつかのリソースを読み終えた後、ヒープ私はpysparkを使用していますので、私は次のようにクラスタを構成しているので：ワンエグゼキュータ： spark.executor.memory 6グラム spark.executor.cores 10 スパーク.yarn.executor.memoryOverhead 4 09

0熱

1答えて

任意の文字列からガベージ（＃、$）値を削除し、複数の出現を複数の列に含むガベージ（＃、$）値のみを含むレコードを削除します。

複数の出現および複数の列を含むガーベッジ値しかし、私は複数の列に複数の出現を持つガーベジ・バリュー・フォームの文字列を削除したい。サンプルコード： - filter_list = ['$','#','%','@','!','^','&','*','null'] def filterfn(*x): remove_garbage = list(chain(*[[filter not i