Sparkの依存関係を持たないMLlib 2+の使用

Question

MLlibはBreezeのデータ構造でMLlibを使用する方法があるため、Sparkエコシステム全体は必要ありませんが、MLlibはローカルでしか使用できません。

Answer 1

これはできません。依存関係を引き出すことができても、spark-mllibをspark-coreなしで使用することはできません。

しかし、MLLibからアルゴリズムをスタンドアロンで実行する場合は、スタンドアロンモードでsparkをインストールする必要があります。この場合、実際のクラスタは必要ありませんが、ソリューションは明らかに拡大縮小されません。