scikit-learnとpysparkを統合する

Question

私は、pysparkと、scikit-learnとpysparkを統合する可能性を模索しています。 scikit-learnを使って各パーティションのモデルを訓練したいと思います。つまり、自分のRDDが定義されていて、異なるワーカーノードに分散されている場合、私はscikit-learnを使い、各ワーカーノードに存在する各パーティションでモデル（単純なk-meansと呼ぶ）を訓練したいと考えています。 scikit-learnアルゴリズムがPandasデータフレームを取るので、最初の考えはtoPandasを各パーティションに呼び出して、モデルを訓練することでした。しかし、toPandas関数はDataFrameをドライバに集めますが、これは私が探しているものではありません。そのような目標を達成する他の方法はありますか？

Answer 1

scikit-learnは今のところ完全にsparkと統合できません。なぜなら、scikit-learnアルゴリズムは1台のマシン上で動作するように分散されて実装されていないからです。

しかし、spark-sklearnのSpark-Scikit統合ツールを使用すると、相互検証のためにSparkでGridSearchを実行する（瞬時に）サポートされます。