スタンドアロンアプリケーション用のapache sparkでmagellan geospatialライブラリを使用する

Question

scという未定義の問題がありますが、私はscの問題があります。 scが自動的にインポートされているので、私は提案したコマンド$SPARK_HOME/bin/spark-submit --packages harsha2010:magellan:1.0.2-s_2.10すべてをコマンドラインから実行した場合

は動作しますが、私はeclipseからスタンドアロンアプリケーションとして、それを実行した場合、それはscを認識しません。

私は、コードのこの部分を含め、初期化のためのすべての組み合わせ試してみました：ここ

from pyspark import SparkConf,SparkContext 
from magellan.types import Point 
from pyspark.sql import Row, SQLContext 
#from magellan-master.python.magellan.context import sc 
sc = SparkContext(appName="MyGeoFencing") 
#sql = SQLContext(sc) 
#from magellan.context import sc 
#from magellan.context import sc 
#from magellan.context import SQLContext 
PointRecord = Row("id", "point") 
#sparkConf = SparkConf().setAppName("MyGeoFencing") 
#sc = SparkContext(conf=sparkConf) 
#sql = SQLContext(sc) 
sqlCont = SQLContext(sc) 


points = sqlCont.parallelize([ 
    (0, Point(-1.0, -1.0)), 
    (1, Point(-1.0, 1.0)), 
    (2, Point(1.0, -1.0))]).map(lambda x: PointRecord(*x)).toDF() 


points.show() 

をsqlContメソッドparallelizeを持っていないという問題があります。 scを直接magellan.contextからインポートしようとしましたが、どちらも機能しません。

scalaを使用すると同じ問題が発生します。

これはどのように機能するはずですか？

ありがとうございます！

Answer 1

これが私の作品：

sc = spark.sparkContext 
from pyspark.sql import SQLContext 
from pyspark.sql.types import * 
sqlContext = SQLContext(sc)