pysparkを使用して進化的アルゴリズムを実行する方法

-1

sparkのpysparkを使用してGA、PSOなどの進化的アルゴリズムを実行したい。Deap pythonライブラリを使用してMLLibを使用してこれを行う方法。同じタスクを実行できる他のライブラリがあります。pysparkを使用して進化的アルゴリズムを実行する方法

出典

2017-09-14 yogendrask

DEAPをSparkで使用する方法については、my answerをご覧ください。

ここでは、DEAP toolboxをreplace the map functionに設定する方法の例を、Sparkを使用するカスタムのもので示します。

from pyspark import SparkContext 

sc = SparkContext(appName="DEAP") 

def sparkMap(algorithm, population): 
    return sc.parallelize(population).map(algorithm) 

toolbox.register("map", sparkMap)

出典

2017-09-25 01:30:47 frenchoverflow

ツールボックスとは何ですか？回答を複製しないでください。良い1つを提供し、コメントを使ってそれにリンクしてください –

DEAPによって提供されるユーティリティクラスで、残りのアルゴリズムに影響を与えずに演算子を簡単に変更できます（docs [here]（http://deap.readthedocs.io /en/master/tutorials/basic/part2.html#using-the-toolbox）私の例では、スパーク並列化関数を使用してカスタム関数でマップ関数（すべての個体に適合関数をマップするために使用される）を置き換えます。別の例は、[docs]（http://deap.readthedocs.io/ja/master/tutorials/basic/part4.html）を参照してください。 – frenchoverflow

pysparkを使用して進化的アルゴリズムを実行する方法

答えて

関連する問題