apache-spark

0熱

1答えて

PySparkで新しいカラムを作成し、このカラムに今日の日付を記入する方法は？これは私が試したものです： import datetime now = datetime.datetime.now() df = df.withColumn("date", str(now)[:10]) 私はこのエラーを取得する： AssertionError: col should be Column

2熱

1答えて

Spark SQL：別のSELECTステートメントの列（バイナリ検索ツリー）

SparkSQLを使用してBSTを構築しようとしていますが、これはメインSELECTステートメント内の別のSELECTステートメントを使用して簡単に行うことができます。 BSTのグラフィカルな表現は以下の通りである：入力BST.Goalの行 - 列表現である入力テーブルデータを用いて、出力テーブルを生成することです。ルート：なし親ノードを持たないインナー：親ノードだけでなく、子ノードを持つ

0熱

1答えて

例外TypeError：データはLabeledPointのRDDにする必要がありますが、<型 'numpy.ndarrayを'>得

私はエラーを取得：私は実行時に TypeError: data should be an RDD of LabeledPoint, but got <type 'numpy.ndarray'> を： import sys import numpy as np from pyspark import SparkConf, SparkContext from pyspark.mllib.cl

1熱

1答えて

オーバーロードメソッドの値は選択肢に適用されます。

私はスパークに新しいですし、私はJSONデータのスキーマを定義しようとしていると（スパーク・シェルで次のようなエラーに遭遇した、 <console>:28: error: overloaded method value apply with alternatives: (fields: Array[org.apache.spark.sql.types.StructField])org.a

3熱

1答えて

私のSparkアプリケーションのWeb UIにDAGの視覚化は表示されませんが、History Serverはなぜですか？

私は現在、IntelliJ IDEAを使用してSparkアプリケーションを開発し、実行しています。私はこれはconf/spark-defaults.confに設定している：私のアプリケーションで spark.eventLog.enabled true spark.eventLog.dir file:/home/user/spark-2.2.0/spark-events spark.h

-2熱

1答えて

2つの大規模RDDから新しいRDD変数を生成

以下のように2つの大きなサイズのRDDがあります。 #First RDD key1 value1 labelA key2 value2 lableB ..... #Second RDD stepA key1 value1 stepB key2 value2 ... そして、私が抽出したいものは以下の通りです。 labelA stepA key1 value1 labelB s

0熱

1答えて

Scalaの方法objectFile [タイプ]（パス）

を定義するために、私はHDFSデータを読みたいが、データがsaveAsObject[(String,Int,SparseVector)]かsaveAsObject[(Int,String,Int)]として保存することができるなどだから、私に"String,Int,SparseVector"などのようなコマンドラインパラメータを渡したいです求人： enter code heretypeを入手す

1熱

2答えて

Scala RDD count by range

Iterable [MyObject]（groupByの前にRDD [MyObject]でした）に含まれるデータを "抽出"する必要があります。私の最初のRDD [MyObjectに]： |-----------|---------|----------| | startCity | endCity | Customer | |-----------|---------|----------

2熱

1答えて

Sparkアプリケーションが、 "ClassNotFoundException：データソースの検索に失敗しました：jdbc"がsbtアセンブリのuber-jarとして失敗するのはなぜですか？

私はsbt 1.0.4とsbt-assembly 0.14.6を使ってSparkアプリケーションをアセンブルしようとしています。 IntelliJ IDEAまたはに発売されたときにスパークアプリケーションが正常に動作しますが、私は（Windowsの10でCMD）コマンドラインで組み立てられユーバー-jarファイルを実行する場合： java -Xmx1024m -jar my-app.jar