Apache SparkをGPU上で実行するには？

Question

私はGPUとスパークを統合したいが、gpuはCUDA/OpenCLを使用している間、sparkはjava上で動作するので、どのようにマージするのですか？

Answer 1

このジレンマに役立つライブラリがいくつかあります。

DatabricksはSpark for TensorFlowのソリューションで動作しています.TensorFlowを使用すると、クラスタまたはマシンのGPUを使用できます。

詳細については、Spark Summit Europe 2016のプレゼンテーションがあります。このプレゼンテーションでは、TensorFramesがどのように機能するかを少しずつ示します。

その他これは、DataBricksブログのTensoFramesについての投稿です。

さらに詳しいコード情報については、Git of Tensorframesを参照してください。

Answer 2

あなたのやりたいことによって異なります。 sparkを使用してGPUで計算を配布したい場合、javaを使う必要はありません。あなたは、クーダモジュールを持つnumbaでpython（pyspark）を使うことができます。

たとえば、RDDのすべてのブロックでワーカーノードで操作（ここではgpu_function）を計算させる場合は、このコードを適用できます。

def gpu_function(x): 
    ... 
    input = f(x) 
    output = ... 
    gpu_cuda[grid_size,block_size](input,output) 
    return output 

と：と

rdd = rdd.mapPartition(gpu_function) 

from numba import cuda 
@cuda.jit("(float32[:],float32[:])") 
def gpu_cuda(input,output) 
    output = g(input) 

私はあなたがslideshareのURLを見てみることをお勧め：https://fr.slideshare.net/continuumio/gpu-computing-with-apache-spark-and-python、specificlyあなたが唯一必要な34

をスライドさせnumbaとcudaドライバはすべてのワーカー・ノードにインストールされます。