pyspark

0熱

1答えて

私は輸入がnumpyのことをAWS EMR上でPythonスクリプトを提出しようとしているが、私は ImportError: No module named numpy を得る私はここでの回答のいずれかを使用してみました：No module named numpy when spark-submitting。私は sudo yum install python-numpy python-sc

0熱

1答えて

ファイルからデータを読み込んでSpark/PySparkのFPGrowthアルゴリズムに渡す方法

ファイルからデータを読み込み（括弧で区切った項目）、このデータをPySparkを使用してFPGrowthアルゴリズムに渡そうとしています。私のコード今のところ以下の通りです： import pyspark from pyspark import SparkContext sc = SparkContext("local", "Assoc Rules", pyFiles=[]) txt

0熱

1答えて

sparkでは、引数のデータはローカルファイルから生成されたrddから得られます。

たとえば、2つのファイルa.txtとb.txtがあり、2つのファイルのデータを追加したい一緒に。たぶん私の場合は追加ではない、私はスパークの複数の引数で関数に取り組む方法をテストしたいだけで、引数のデータはローカルファイルから生成されたrddから来る。私たちは、このようなコードとして、一つのファイルのデータに番号を追加することができます。 a_data = sc.textFile("a.txt"

0熱

1答えて

PySpark Pythonの問題：Py4JJavaError：o48.showStringの呼び出し中にエラーが発生しました

こんにちは皆PySpark Pythonで作業していますが、コードを記述していくつか問題が発生しました。 windowSpec = Window.partitionBy(df_Broadcast['id']).orderBy(df_Broadcast['id']) windowSpec IdShift = lag(df_Broadcast["id"]).over(windowSpec).al

-1熱

1答えて

例えば

[一覧[]フロート]を、ローカルファイルdata.txtをの構造は次のとおりです。 RDD [文字列]としてファイルを読み込み 1.0 2.0 3.0 4.0 5.0 6.0 7.0 8.0 ... ： RDDに lines = sc.textFile("data.txt") 分割[一覧[文字列]]：RDDに変換する方法 data_temp = lines.map(lambd

0熱

1答えて

Zeppelin - 動的フォームのデフォルト値の動的更新

私はselectFormのデフォルト値を動的に更新する方法を探していました。私のコードは次のとおりです： %spark2.pyspark d_var = {} d_var['one'] = ["0"] d_var['two'] = ["1"] keys = [] values = [('0', 'True'), ('1', 'False')] for key in sorted(d

-1熱

1答えて

pysparkで.collect（）を改善する方法は？

.collect（）のパフォーマンスを向上させるために、pysparkを調整する他の方法はありますか？私はmap(lambda row: row.asDict(), x.collect())を使用しています。これは、10Kレコードに対して5秒以上かかるものです。

3熱

1答えて

SparkのPCA出力がscikit-learnと一致しません

私はSpark MLでPCA（主成分分析）を試しています。 data = [(Vectors.dense([1.0, 1.0]),), (Vectors.dense([1.0, 2.0]),), (Vectors.dense([4.0, 4.0]),), (Vectors.dense([5.0, 4.0]),)] df = spark.createDataFram

-1熱

2答えて

Spark 2.0クラスタリングのCSVデータを前処理する方法は？

私はこのようになります非常に単純なCSVファイルがあります：私はすべての値がテーブル内のダブルスとして作成されているにもハイブのテーブルに座って、このcsvファイルを、持っている time,is_boy,is_girl 135,1,0 136,0,1 137,0,1 を。この表は実際には巨大であり、膨大な数の行があるため、この問題を解決するためにSpark 2を使用することにしました。