はPythonスクリプトがpysparkを使ってsparkで動作する

Question

私はマシン学習ユースケース用のpythonスクリプトを開発しましたが、今はsparkのpysparkシェルでそのスクリプトを実行したいと思います。 私はそれをすぐにすることができますか？

Answer 1

Sparkのメモリ内分散処理能力を使用するには、parkpark APIを使用してSpark Contextを定義し、RDD（Resilient Distributed Dataset）を作成する必要があります。標準のPythonコードはpysparkシェル内で実行できますが、単一ノード上でコードを実行するのと同じです。 Sparkは独自の機械学習ライブラリを持っていますが、一般的にはPythonで利用可能なものほど豊富ではありません。お役に立てれば。