apache-spark

7熱

1答えて

SparkSQLで同様の条件を実装する方法は？私は次の文のような目標を達成するためにSQL文を書くにはどうすればよい

： SELECT * FROM table t WHERE t.a LIKE '%'||t.b||'%'; 感謝。

7熱

2答えて

ScalaでDataFrameをcsvにエクスポートするには？

Scalaを使用してSparkのDataFrameをcsvファイルにエクスポートするにはどうすればよいですか？

7熱

1答えて

Scope of 'spark.driver.maxResultSize'

私はSparkジョブを実行してデータを集約しています。私は基本的にmutable.HashMap[Zone, Double]を含むプロファイルと呼ばれるカスタムデータ構造を持っています。私は次のコードを使用して、与えられたキー（UUID）を共有するすべてのプロファイルをマージしたい： def merge = (up1: Profile, up2: Profile) => { up1.addWeig

5熱

1答えて

Apache Sparkで時系列データベース（TSDB）を実行できますか？

私は大きなデータとApache Sparkについて学び始めており、疑問があります。将来的にはIoTからデータを収集する必要があり、このデータはtime series dataとして私に届きます。私は実際にはApacheのスパークを必要とするので、私は知りたい私は、時系列データベースについて読んでいた（TSDB）と私はなどアトラス、KairosDB、OpenTSDB、のようないくつかのオープンソ

5熱

1答えて

slf4jがインストールされていないと、あらかじめ構築されたspark-masterを起動するとエラーが発生する

私はスタンドアロンのスパークをセットアップするためにubuntuを使用しています。しかし、あらかじめ構築されたスパークを使用している間は、slf4jパッケージを見つけることができませんでした。 ./spark-1.4.1-bin-without-hadoop/sbin/start-master.sh Spark Command: /usr/lib/jvm/java-7-oracle//bin/

7熱

1答えて

PythonのSpark DataFrameからlabeledPointsを作成

pythonの.map（）関数を使用して、sparkデータフレームからlabeledPointsのセットを作成しますか？ラベル/結果が最初の列ではないが、その列名、「ステータス」を参照できる場合は、表記法とは何ですか？私はこの.MAP（）関数でPythonのデータフレームを作成します。 def parsePoint(line): listmp = list(line.split('\t

5熱

1答えて

Zeppelinを使用してaws spark-ec2クラスタおよびs3バケットにアクセスする方法

spark-ec2スクリプトによるaws ec2クラスタセットアップがあります。私はZeppelinをローカルでZeppelinに書き込んで（マスタ経由で）クラスタ上で実行できるようにZeppelinを設定したいと思います。さらに私はs3バケットにアクセスできるようにしたいと考えています。私はthis guideとthis other oneに従っていますが、私はzeppelinから自分のクラ

10熱

1答えて

Spark MLパイプラインで中間結果をキャッシュする

最近、スタンドアロンのPython MLコードをsparkに移行する予定です。 spark.mlのMLパイプラインは、アルゴリズムステージの連鎖とハイパーパラメータグリッド検索のための合理化されたAPIにより、非常に便利です。でも、既存のドキュメントではわかりにくい1つの重要な機能がサポートされています。中間結果のキャッシング。この特徴の重要性は、パイプラインが計算集約的な段階を含む場合に生じる

24熱

3答えて

スパークストリーミングジョブを停止するにはどうすればよいですか？

私はSpark Streamingジョブを継続して実行しています。仕事を優雅にやめさせるにはどうすればいいですか？私はジョブの監視にシャットダウンフックをつけ、ジョブにSIGTERMを送るという、通常の推奨事項を読んだ。 sys.ShutdownHookThread { logger.info("Gracefully stopping Application...") ssc.

8熱

1答えて

スパークストリーミングは「1ピアの代わりに0ピアだけに複製する」と警告します。

私はスパークストリーミングを使用してツイッターからツイートを受信します。多くの警告が表示されます： replicated to only 0 peer(s) instead of 1 peers この警告は何ですか？私のコードがある：ストリーミングスパークとの間でデータを読み出す場合 SparkConf conf = new SparkConf().setAppName("Test");