HBaseにpyspark mlモデルを保存/ロードする方法

Question

私はpysparkアプリケーションを作成しており、MLlib Linear Regressionでアルゴリズムを使用したいと考えています。しかし、私は出力を保存/ロードする方法を理解することはできません。 マイコード：

import os 
import sys 

os.environ['SPARK_HOME']="C:\spark-2.2.0-bin-hadoop2.7" 
try: 
    from pyspark.sql import SparkSession 
    from pyspark.ml.regression import LinearRegression 
    from pyspark.ml.linalg import Vectors 
    from pyspark.ml.feature import VectorAssembler 
except ImportError as e: 
    print ("Error importing Spark Modules", e) 
    sys.exit(1) 

spark=SparkSession.builder.appName("lrexample").getOrCreate() 
data=spark.read.csv("E:/Customers.csv", inferSchema=True, header=True) 

assembler=VectorAssembler(inputCols=['Avg Session Length','Time on App','Time on Website','Length of Membership'],outputCol='features') 
output=assembler.transform(data) 
final_data=output.select('features','Yearly Amount Spent') 
train_data,test_data=final_data.randomSplit([0.7,0.3]) 

lr=LinearRegression(labelCol='Yearly Amount Spent') 
lr_model=lr.fit(train_data) 

私の質問はどのように私はlr_modelを保存/ロードするんです。私はHBaseを使用します

Answer 1

HBaseに直接保存することについてはわかりませんが、最近ほとんどのSpark MLモデルには、ディスクへの保存/読み込み方法が含まれています。あなたのケースで：

# saving: 
lr_model.save(model_path) 

# loading: 
from pyspark.ml.regression import LinearRegressionModel 
model = LinearRegressionModel.load(model_path) 

は、より多くのためのdocumentationとthis threadを参照してください。