Pythonを使用したApache Spark TFIDF

Question

SparkのドキュメントではHashingTFフィーチャーを使用すると書かれていますが、変換関数が入力として期待するものは不明です。 http://spark.apache.org/docs/latest/mllib-feature-extraction.html#tf-idf

私はチュートリアルのコード実行してみました：

from pyspark import SparkContext 
from pyspark.mllib.feature import HashingTF 

sc = SparkContext() 

# Load documents (one per line). 
documents = sc.textFile("...").map(lambda line: line.split(" ")) 

hashingTF = HashingTF() 
tf = hashingTF.transform(documents) 

を私は次のエラーを取得する：エラーに基づいて

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/Users/salloumm/spark-1.6.0-bin-hadoop2.6/python/pyspark/ml/pipeline.py", line 114, in transform 
    return self._transform(dataset) 
    File "/Users/salloumm/spark-1.6.0-bin-hadoop2.6/python/pyspark/ml/wrapper.py", line 148, in _transform 
    return DataFrame(self._java_obj.transform(dataset._jdf), dataset.sql_ctx) 
AttributeError: 'list' object has no attribute '_jdf' 

Answer 1

あなたはあなたが従わない明確で示されてきましたチュートリアルまたは質問に含まれるコードを使用します。

このエラーはpyspark.mllib.feature.HashingTFの代わりにfrom pyspark.ml.feature.HashingTFを使用した結果です。あなたの環境をきれいにして、正しいインポートを使用していることを確認してください。