apache-spark

12熱

2答えて

私はSparkを初めて使用していて、Sparkシェルをどのように使用するのか把握しようとしています。 Sparkのサイトのドキュメントを参照し、ディレクトリの作成方法やsparkシェル内のすべてのファイルを表示する方法を示していません。もし誰かが私を助けることができたら、私はそれを感謝します。

6熱

3答えて

大きなデータセットでsparkを実行しているときにsparkContextがシャットダウンした

特定のデータサイズ（〜2,5GB）を超えるクラスタでsparkJobを実行すると、「SparkContextがシャットダウンしたためジョブがキャンセルされました」または「executorが失われました"糸guiを見ると、殺された仕事は成功しているのが分かります。 500メガバイトのデータを走らせても問題はありません。私は解決策を探していました： - "期待されているよりも多くのメモリを要求すると、

10熱

2答えて

省はこのように私は、2つのパーティションに基づいてディレクトリ構造を持つサブパーティション

寄木細工する： People > surname=Doe > name=John > name=Joe > surname=White > name=Josh > name=Julien 私は情報のみについてのすべてのんで、寄木細工のファイルを読んでいますので、私は直接指定姓= Doeのだが私のDataFrameの出力ディレク

7熱

3答えて

spark executorのカスタムlog4jアペンダー

私は、すべてのログをApache Kafkaに転送するために、spark executor内にカスタムlog4jアペンダーを使用しようとしています。問題は、log4jのは、アペンダとfatjarのクラスローダーが登録される前に初期化され、私は次で終わるされている： log4j:ERROR Could not instantiate class [kafka.producer.KafkaLog4j

7熱

1答えて

はハイブとスパーク（火花1.5.0）

ダウンロード火花1.5.0事前に構築されたの構築とpyspark経由で実行する必要があり、この単純なコード from pyspark.sql import Row l = [('Alice', 1)] sqlContext.createDataFrame(l).collect はエラーを得られます。 15/09/30 06:48:48 INFO Datastore: The class "

5熱

2答えて

Sparkで2つ（またはそれ以上）のDataFrameを圧縮する方法

5熱

1答えて

Apache Spark/Cassandraクラスタで過度のパーティショニング（タスクが多すぎる）

Spark/Cassandraクラスタで単純なアプリケーションを実行しています。新しい環境（1.2の代わりにSpark 1.5およびCassandraのマイナーバージョンもアップグレード）から、実質的なパフォーマンスのダウングレードが観察された（同じ仕事と同じ量のデータに対しては4秒から1〜5mまで）。最初の調査の後、spark-driverの観点から見ると、全く同じコードのために、さらに多くの

5熱

1答えて

createDataFrameのSparkRボトルネック？

私はSpark、SparkR、そして一般にすべてのHDFS関連の技術に慣れています。 Sys.setenv(SPARK_HOME="/private/tmp/spark-1.5.0-bin-hadoop2.6") .libPaths("/private/tmp/spark-1.5.0-bin-hadoop2.6/R/lib") require('SparkR') require('data.

5熱

1答えて

すべてのSpark SQLデータ型のスカラ型マッピングとは

DataTypeはSpark SQLで利用可能ですが、hereです。誰でもSpark SQLのDataTypeのそれぞれに対応するJava/Scalaのデータ型は何か教えてください。 Spark SQL and DataFrame Guideから直接

7熱

1答えて

データフレーム/データセットGROUPBY行動/最適化

我々はデータフレームdfには、次の列からなるがあるとします。名、姓、サイズ、幅、長さ、今、私たちは実行したいを計量例えば、サイズと幅に関するデータを含むDataFramesを2つ作成したいとします。 val df1 = df.groupBy("surname").agg(sum("size")) val df2 = df.groupBy("surname").agg(sum("width")