2017-09-09 20 views
2

私は(非常に)スパークするのは新しく、これは愚かな質問であるので謝罪します。私は、スパークのウェブサイトからダウンロードしたtarballを外部のフォルダが含まれていませんでした火花:python kinesisストリーミングの例を実行

Traceback (most recent call last): 
    File "/Users/rmanoch/Downloads/spark-2.2.0-bin-hadoop2.7/kinesis_wordcount_asl.py", line 76, in <module> 
    ssc, appName, streamName, endpointUrl, regionName, InitialPositionInStream.LATEST, 2) 
    File "/Users/rmanoch/Downloads/spark-2.2.0-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/streaming/kinesis.py", line 92, in createStream 
    File "/Users/rmanoch/Downloads/spark-2.2.0-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip/py4j/java_gateway.py", line 1133, in __call__ 
    File "/Users/rmanoch/Downloads/spark-2.2.0-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py", line 323, in get_return_value 
py4j.protocol.Py4JError: An error occurred while calling o27.createStream. Trace: 
py4j.Py4JException: Method createStream([class org.apache.spark.streaming.api.java.JavaStreamingContext, class java.lang.String, class java.lang.String, class java.lang.String, class java.lang.String, class java.lang.Integer, class org.apache.spark.streaming.Duration, class org.apache.spark.storage.StorageLevel, null, null, null, null, null]) does not exist 
     at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318) 
     at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326) 
     at py4j.Gateway.invoke(Gateway.java:272) 
     at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) 
     at py4j.commands.CallCommand.execute(CallCommand.java:79) 
     at py4j.GatewayConnection.run(GatewayConnection.java:214) 
     at java.lang.Thread.run(Thread.java:745) 

I例をストリーミング(2.2.0)火花を実行しようとしていますPythonの火花は、しかし、私は下の問題に実行しておきますそれに(一部のライセンスの問題がありますように思える)、これは、必要に応じて任意の追加の詳細を提供させていただき

bin/spark-submit --packages org.apache.spark:spark-streaming-kinesis-asl_2.11:2.2.0 kinesis_wordcount_asl.py sparkEnrichedDev relay-enriched-dev https://kinesis.us-west-2.amazonaws.com us-west-2 

githubからkinesis_wordcount_asl.pyをダウンロードした後)私が実行しようとしているコマンドです。

答えて

1

コアのSpark/Sparkストリーミングとspark-kinesisの間にバージョンの不一致があるように見えます。 Spark 2.1と2.2(SPARK-19405)の間でAPIが変更され、バージョンの不一致により同様のエラーが発生します。

これは私が間違ったバイナリ(ただの推測)を使用して提出していると思わせる - あなたはlocalモードを使用する場合にはPATHPYTHONPATHまたはSPARK_HOME問題となることがあります。シグネチャが一致しないため、spark-kinesisが正しくロードされており、にorg.apache.spark.streaming.kinesis.KinesisUtilsPythonHelperが存在すると想定できます。

関連する問題