sparkでC++ UDFを実行

Question

SparkでC++ UDFを実行する方法を見つけようとしています。これまでのところ、私はJava UDFを実行する方法しか見つけられず、C++ UDFを実行することについて何も見つけることができません。

誰でもSpark（ScalaまたはPySparkのいずれか）でそれを行う方法を知っていますか？

Answer 1

C++はゲスト言語としてサポートされていないため、C++ UDFを記述することはできません。あなたができることは、サポートUDF内でScalaまたはPythonからC++コードを呼び出すことです。

Scalaでは、Java Native Interfaceを使用できます。インテグレーテッドコードはスレッドセーフでなければなりません。

のPythonでは、書くことができますC/C++ Extension、Swig intefaceまたはCython。ワーカーは分離されているため、スレッドの安全性は必要ありません。