pyspark

0熱

1答えて

EMRでHive Metastoreを使用しています。私はHiveSQLを使ってテーブルを手動で問い合わせることができます。しかし、私は、スパーク仕事で同じテーブルを使用する場合、それは入力パスが存在しないと言う：S3：org.apache.hadoop.mapred.InvalidInputException：によって引き起こさ// 入力パスを私はS3で私の上記のパーティションのパスを削除した

0熱

1答えて

スパーク（pyspark）方法3要素

のタプルの唯一の2要素にreduceByKeyする私は[（ '成功'、 ''、1）、（」こののように見えるマップの結果を持っています'something_random'、1）] （ 'エラー'、 'エラー'、 'something_random'、1）、（ 'エラー'、 'something_random'、1）としてendupへの鍵で減らすとそこの方法です： [（ '成功'、2）、（ 'エラ

0熱

2答えて

sparkで既存のHIVE物語にcsvファイルをロードする

以下は、RDBMSに接続してテンポラリテーブルを作成し、そのテンポラリテーブルでSQLクエリを実行し、SQLクエリ出力を.csvフォーマットに保存するために書いたコードですスルーdatabricksモジュール。私はコードを実行した後 HIVE.DBは、既存のHIVEデータベース HIVE.TBLある from pyspark import SparkContext sc = SparkConte

1熱

2答えて

pysparkの未定義関数UDF？

私はDataframe内で呼び出すUDFを持っていますが、udfは未定義です。 exprで使用する global ac ac = sc.accumulator(0) def incrementAC(): ac.add(1) return str(ac.value) df = sc.parallelize([('Java',90),('Scala',95),('Spar

0熱

1答えて

にjava.io.IOException：番組「パイソン」を実行することはできません：CreateProcessをエラー= 2を、システムがファイルを見つけることができません

を指定された私は、私はSPARKとPythonの最新バージョンを使用していますpyspark で日食を構成しました。何かをコード化して実行しようとすると私はエラー以下になる。 java.io.IOException: Cannot run program "python": CreateProcess error=2, The system cannot find the file specif

0熱

1答えて

pyspark 1.6.3線形回帰エラーフロート（）の引数は、私は、これは私のコードであるpysparkから線形回帰を使用しています文字列または数

でなければなりません： from pyspark.ml.regression import LabeledPoint,LinearRegressionWithSGD from pyspark import SparkContext, SparkConf from pyspark.sql import SQLContext from pyspark.ml.evaluation import R

0熱

1答えて

エラー：com.mongodb.MongoCursorNotFoundException：MongoDBからSparkへの読み込み中

私は234百万のレコードでSparkのMongoDBでコレクションを読み込もうとしています。私は唯一のフィールドが欲しい。 case class Linkedin_Profile(experience : Array[Experience]) case class Experience(company : String) val rdd = MongoSpark.load(sc, ReadC