apache-spark-2.0

0熱

1答えて

次の構成のクラスタでsparkR（spark 2.0.0、yarn）を使用しています。マシン5台（24コア+各200GB RAM）。私の仕事への総資源の割合のみを割り当てるために追加の引数でsparkR.session（）を実行するために募集： if(Sys.getenv("SPARK_HOME") == "") Sys.setenv(SPARK_HOME = "/...") library(

1熱

1答えて

時間の経過後にSparkストリーミングジョブを停止する

しばらくしてからスパークストリーミングジョブを終了する方法はありますか？そのため、ドライバは失われず、残りのAPIは完了したとしてジョブを表示します。

0熱

1答えて

ルックアップテーブル値の列を置き換えます

私は2つのテーブルを持っています.1つは値を持ち、もう1つは参照値を持っています。私はテーブル1をテーブル2の値に置き換えたいが、これを行うためのエレガントな方法は見つからない。 Table 1 (main) name age country last_visited x1 a1 UK 2016 x2 a3 US 2017 x3 a1 China 20

0熱

1答えて

Spark - Scala：テキストとイメージの両方を含むドキュメントの解析と抽出 - .doc、.docxファイル

イメージとテキストの両方を含むファイル（doc、docxファイル）はほとんどありません。私は、これらのファイルを解析し、内容の抽出をしたいと思います。現在、このようなファイルの解析を拒否するApache Tikaを使用しています。 PDF、プレーンテキストの.doc、.docxファイルに完全に対応しています。しかし、画像を持っているファイルには、エラーがスローされます。 Exception in

0熱

1答えて

Apache Spark Graphx - Javaインプリメンテーション

Sparkのドキュメントによると、GraphXにはJava APIがまだ用意されていないようです。私の前提は正しいですか？はいの場合、GraphXライブラリがJavaコードを使用して呼び出されている場合の例をいくつか教えてください。

0熱

3答えて

列と集合関数のマップを持つaggの最初の関数のignoreNullsフラグを設定するにはどうすればいいですか？

私はconfファイルから約20-25のリストを持ち、最初のNotnull値を集計する必要があります。私は、列リストとagg exprにconfファイルを読み込ませる関数を試しました。最初の関数を取得できましたが、最初にignoreNull値をtrueに指定する方法が見つかりませんでした。私が試したコードは、私がnullの代わりに、結果として3を取得する必要があります def groupAndA

0熱

1答えて

UIのspark javaアプリケーションの出力を表示する方法

ログマイニングのためのspark javaアプリケーションがあります。現在私はスパーク出力ファイルからの出力を読み込み、Excelシートに表示しています。しかし、私はより良いUIが欲しいです。誰かがスパーク出力の結果を分析するためのより簡単でより良い方法のために、より良いUIをコーディングする手助けをすることができます。グラフや表ビューを追加すると便利です。だから、あなたはあなたの選択のプラットフ

1熱

2答えて

構造化ストリーミング：チェックポイントデータによる再起動時のストリーミング例外

私はKafkaトピックのデータを消費する読み取りストリームが1つあり、各受信メッセージの属性値に基づいて、2つのS3の異なる場所（value1がlocation1に書き込み、そうでない場合はlocation2に書き込む場合）下のハイレベルでは Dataset<Row> kafkaStreamSet = sparkSession .readStream() .forma