apache-spark-2.0

1熱

2答えて

DataFrameの場合、udfをdf.withColumn("newCol", myUDF("someCol"))とすると、何らかの操作で簡単に新しい列を生成することができます。 Datasetにこのような何かを行うには、私はmap機能を使用することだろうと思います。 def map[U](func: (T) ⇒ U)(implicit arg0: Encoder[U]): Dataset[U]

0熱

1答えて

Spark 2.0 java.lang.ClassCastException：java.lang.Integerをjava.sql.Dateにキャストすることはできませんエラー

私たちはHiveデータウェアハウスを維持し、sparkSQLを使用してハイブデータベースに対してクエリを作成し、レポートを生成します。我々はAWS EMR enviounmentでSpark 1.6を使用していますが、これはうまくいきました。私は環境を2.0にアップグレードするようにアップグレードしたかったのですが、日付フィールドで非常に奇妙なキャストエラーが発生しました。 DATE型の列を含む

4熱

1答えて

pysparkエラー：「DATAFRAME」オブジェクトが属性「マップ」

を持っていない私が使用してCSVファイルを読み込むことでデータフレームのオブジェクトを作成するためにpyspark 2.0を使用しています： data = spark.read.csv('data.csv', header=True) 私はを使用してデータの種類を見つけます type(data) 結果は、私がclassifを適用するためにLabeledPointにデータ内の一部の列を変換

6熱

1答えて

Sparkシェルのインポートを無視しているScalaのケースクラス

この質問には明らかな答えがあることを願っています！私はSpark v2.0にアップグレードしましたが、spark-shell（Scala 2.11ビルド）で奇妙な問題がありました。私は、次の最小限のScalaを入力した場合、 import java.sql.Timestamp case class Crime(caseNumber: String, date: Timestamp, des

1熱

1答えて

sparkのドライバからexecutorへのパラメータの受け渡し

spark 2.0.0を使用しています。 sparkドライバからエグゼキュータにパラメータを渡す方法はありますか？私は次のことを試みた。 class SparkDriver { public static void main(String argv[]){ SparkConf conf = new SparkConf().setAppName("test").setMast

1熱

1答えて

KMeans with Spark 1.6.2 VS Spark 2.0.0

私は制御がない環境でKmeans()を使用しており、私は<で1ヶ月放棄します。スパーク1.6.2。がインストールされています。私は出発する前に「them」をSpark 2.0.0にアップグレードするよう促す代価を支払うべきですか？つまり、Spark 2.0.0はの改善点をに導入しました。Spark Mllib KMeans（）？私の場合、品質は速度よりも重要な要素です。