Scikit-learnとpysparkの統合

Question

私はsklearnでロジスティック回帰モデルを訓練し、モデルを.pklファイルに保存しました。スパーク内からこのpklファイルを使用する方法はありますか？

Answer 1

あなたがsparkを使用しているという事実は、あなたが外部のPythonライブラリを使用することを妨げてはいけません。

spark-pythonコードでsklearnライブラリをインポートし、保存したpklファイルでsklearnロジスティック回帰モデルを使用できます。