PySparkをサードパーティのJARで実行する方法あいつは？

試した - jarsオプションと--driver-class-jarsなど。それでも私は 'no module fuzzywuzzy'というエラーが見つかりました。PySparkをサードパーティのJARで実行する方法あいつは？

2017-08-15 user3610141

pyspark --packages me.xdrop:fuzzywuzzy:1.1.8

を試してみてください。また、ご希望のワークフロー/環境に応じて、いくつかの他のオプションについてhttps://stackoverflow.com/a/44153456/3811916を見てみましょう。

2017-08-16 02:58:23 eddies

ありがとうございます！私はファジィウッディが正常に検索されたことを示していた。しかし、私が 'import fuzzywuzzy'をタイプしたとき、私はまだ 'import error：モジュール名はあいまいではありません'と感じました。 – user3610141

pysparkが正しいPythonライブラリパスを拾っていないからです。その瓶は私の家のdir/.ivy2/jarsに入れられました。私はこのフォルダでPYTHONPATHをエクスポートしましたが、それはまだ助けになりませんでした。 – user3610141

オリジナルのPython実装であるfuzzywuzzy（https://github.com/seatgeek/fuzzywuzzy）を使用しようとしている場合は、それをインストールするだけです（ 'pip install fuzzywuzzy'）。あなたの質問は、特にfuzzywuzzy * jar *（つまりhttps://github.com/xdrop/fuzzywuzzy）のインストールについて尋ねました。しかし、それは魔法のようにPythonパッケージとして利用できるようにはならないでしょう。 – eddies

PySparkをサードパーティのJARで実行する方法あいつは？

答えて

関連する問題