sparkで使用するためのxgboostモジュールの配布方法は？

Question

私はpysparkでpretrained xgboostクラシファイアを使用したいが、クラスタ上のノードにはxgboostモジュールがインストールされていない。私は訓練して放送した分類器をピケッとすることができますが、各クラスタノードでモジュールをロードする必要があるので、これでは十分ではありません。

私はルートがなく、共有ファイルシステムがないため、クラスタノードにはインストールできません。

sparkで使用するためにxgboostクラシファイアを配布するにはどうすればよいですか？

---

私はxgboostのための卵を持っています。 http://apache-spark-user-list.1001560.n3.nabble.com/Loading-Python-libraries-into-Spark-td7059.htmlやhttps://stackoverflow.com/a/24686708/2179021のようなものはありますか？

Answer 1

この問題を説明するClouderaの本当に良いblog postがあります。すべてのクレジットはそれらに行きます。

しかし、あなたの質問に簡単に答えてください。いいえ、それはできません。複雑なサードパーティの依存関係は、クラスタの各ノードにインストールして適切に構成する必要があります。単純なモジュール/依存関係の場合、*.egg,*.zipまたは*.pyファイルを作成し、--py-filesフラグが​​のクラスタに提供することができます。

しかし、xgboostは、他のPythonパッケージだけでなく、低いレベルのC++ライブラリ/コンパイラにも大きく依存する数値パッケージです。クラスタにコンパイルされたコードを提供する場合は、ハードウェアのアーキテクチャによって異なるエラーが発生する可能性があります。クラスタは通常、ハードウェアの点で異質であるという事実を付け加えると、そのようなことは非常に悪いことです。