py4j

0熱

1答えて

py4j.Py4JException：メソッドは、（[]）に分割私の火花ジョブを実行する際に、私は次のエラーを取得する

存在しません： py4j.protocol.Py4JError: An error occurred while calling o191.splits. Trace: py4j.Py4JException: Method splits([]) does not exist at py4j.reflection.ReflectionEngine.getMethod(Reflectio

0熱

1答えて

pyspark付きボイラーパイプを使用

私はボイラーパイプを使用してHTMLからテキストを取得しています。しかし、解決できなかった問題がいくつかあります。 50k要素のリストがあります。私は1000要素のrddを作成し、それらを処理し、結果のrddをhdfsに保存しています。私が遭遇したエラーはこれです：HDFSファイルで ERROR:root:Exception while sending command. Traceback (m

0熱

1答えて

PythonからJDBCドライバを接続してテストする

私はPythonを使ってJDBCドライバをテストしようとしています。最初JPypeを考え出す、私は最終的にドライバを接続し、そう（一般スニペットを再現する）のような選択クエリを実行するために管理： from __future__ import print_function from jpype import * #Start JVM, attach the driver jar jvmp

1熱

1答えて

mllib KernelDensityエラー

私はこの方法pyspark.mllib.stat.KernelDensityを使用しようとしている：私はここに似た何かを見つけることができませんでした --------------------------------------------------------------------------- Py4JError Traceback (most recent call last) in()

0熱

1答えて

Py4jをAnacondaにインストールする際のエラー

Py4jをAnaconda - Spyderにインストールできません。私はWindows 32bit、Python 3.5、およびanaconda 4.1で作業しています。私は次のエラーを取得する：私は condaを含む複数のコマンドがpy4j をインストールしようとした私はまた、次のコマンドを実行します。それは勝つように見える C:\Users\360529>anaconda search

0熱

1答えて

Pythonからバックグラウンドでmvnを実行Popenとスレッド関数

Py4jモジュールを使用してゲートウェイサーバの自動化を実装しています。ユーザが関数を呼び出すたびにゲートウェイサーバを起動する必要があります。私が直面している問題は、バックグラウンドで機能を実行する。ここでコードです： def mvn(): logger = open("log.txt", 'w') logger.seek(0) thread1 = Thread(target=Popen

0熱

2答えて

Eclipse（PyDev）のpy4j.protocolというモジュールがありません

私はEclipseをSparkとPythonで開発するために設定しました。私が設定したもの： 1. Pythonインタープリタを持つPyDev 2. Spark Pythonソースを持つPyDev 3. Spark Environment変数を持つPyDev。これは私のライブラリの設定です：そして、これが私の環境設定です：私はCompensationStudyという名前のプロジェクトを作成

3熱

1答えて

PythonのpySparkからSparkListenerを追加するには？

Jupyter/IPython拡張モジュールを作成して、Apache Sparkジョブを監視したいと考えています。スパークはREST APIを提供します。しかし、サーバーをポーリングする代わりに、コールバックを使用してイベントの更新を送信する必要があります。 SparkContext.addSparkListener()にSparkListenerを登録しようとしています。この機能は、Pyth