pyspark

5熱

2答えて

スパークPythonのパフォーマンス・チューニング

私は、以下のコマンドを使用してスパーク開発のためiPythonノートを育てた： ipython notebook --profile=pyspark そして、私はこのようなPythonコードを使用してsc SparkContext作成：私はしたい import sys import os os.environ["YARN_CONF_DIR"] = "/etc/hadoop/conf" s

apache-spark pyspark 2015-01-03

---

8熱

1答えて

Pythonクラスを使ってRDDを処理する方法は？

私は、Pythonのクラスとしてスパークでモデルを実装していて、いつでも私はそれが失敗したRDDにクラスメソッドをマッピングしてみてください。私の実際のコードはもっと複雑ですが、この簡易版は、問題の核心に取得します。私は、（例えば）ので、のようなモデルを実行した場合、 class model(object): def __init__(self): self.data = s

python apache-spark pyspark 2015-09-10

---