elasticsearch-hadoop

0熱

1答えて

hdfsからのelasticsearchのデータの収集、クラスタのセットアップと使用

私はスパーククラスタを設定しています。私はhdfsデータノードを持っていて、同じインスタンスにマスターノードを起動します。 現在の設定は 1マスタ（スパークおよびHDFS） 6スパーク労働者とHDFSデータノード すべてのインスタンスが同じ、16gigデュアルコア（残念ながら）があります。 私はもう3台のマシンを持ち、同じ仕様です。 今私は3つのオプションを持っています 1.これらの3つのマシンに

hadoop elasticsearch apache-spark cluster-computing elasticsearch-hadoop 2016-12-22

---

0熱

1答えて

elasticsearch-sparkからメトリックを取得

ETLカスケードジョブの最後に、Hadoop metricsを使用してElasticsearchの取り込みに関するメトリクスを抽出します。elasticsearch-hadoopはHadoopカウンタを使用して公開します。 私はSparkを使用して同じことをやりたいのですが、Spark connectorを使用している指標に関するドキュメントは見つかりません。 常にそうではありませんが、通常はEM

scala apache-spark elasticsearch elasticsearch-hadoop elasticsearch-spark 2017-04-03

---

0熱

1答えて

Elasticsearch hadoopはバルクバッチサイズを設定します

私は、おそらくStackoverflowを読んで、es-hadoop/es-sparkプロジェクトで一括インデックスを使用しています。そうであれば、デフォルトのバッチサイズはBulkProcessor（5Mb）に従います。これを変更する設定はありますか？ 私のコードでJavaEsSparkSQL.saveToEs(dataset,index)を使用しています。パフォーマンスをチューニングするために

elasticsearch elasticsearch-hadoop elasticsearch-spark 2016-11-09

---

3熱

1答えて

Elastisearch-Hadoopスパークプログラムでバルク検索を行う方法

私は基本的にストリングのRDDであるスパークプログラムを書いています。私がする必要があるのは、基本的に文字列ごとにクエリを作成し、Elastic検索インデックスに基づいてクエリを実行することです。したがって、本質的にクエリは文字列上で異なります。私はelasticsearch-hadoopを使用して検索を行い、最適化できるようにしたかったのです。 RDDは大規模で、あらゆる最適化が可能です。 たと

hadoop apache-spark elasticsearch elasticsearch-hadoop 2017-09-07

---

0熱

1答えて

elasticsearch-hadoop/sparkを使用して、フォーマットされた日付の動的に作成されたElasticsearchインデックスに書き込むことはできますか？

スタンドアロンのスパークの中で私はデータフレームからElasticsearchに書き込もうとしています。私はそれを動作させることができますが、私が理解できないことは、 'index_name- {ts_col：{YYYY-mm-dd}}'のようなフォーマットの動的な名前付きインデックスに書き込む方法です。 'ts_col'はデータセットのdatetimeフィールド。 文法の種類はうまくいくはずだと

python apache-spark elasticsearch-hadoop 2017-02-24

---

0熱

1答えて

ZeppelinとSparkの設定

私はlocalhostのSpark（2.1.1）でZeppelin（0.7.1）を使っていて、実行しているジョブにいくつかの設定値を追加しようとしています。 具体的には、elasticsearch-hadoopのes.nodes値を設定しようとしています。 インタプリタの設定にキーと値を追加しようとしましたが、それはsc.getConfに表示されませんでした。インタプリタの "args"設定キーに

apache-spark apache-zeppelin elasticsearch-hadoop 2017-06-04

---

0熱

1答えて

rddをヌルのデータフレームに変換する

私はpyspark（1.6）とelasticsearch-hadoop（5.1.1）を使用しています。ここでes_read_confはSC SparkContextオブジェクトとして、私のESクラスタのちょうど辞書です es_rdd = sc.newAPIHadoopRDD( inputFormatClass="org.elasticsearch.hadoop.mr

python pyspark elasticsearch-hadoop 2017-01-13

---

0熱

1答えて

sparkでelasticsearchのいくつかの列を読み取るには？ ESクラスタで

が、それは大規模なデータを持って、我々はデータを計算するために火花を使用しますがhttps://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html 続いelasticsearch-hadoopの方法で私たちは、インデックスの完全なコラムを読まなければなりません。助けてくれるものはありますか？

apache-spark elasticsearch-hadoop 2017-05-04

---

0熱

1答えて

文書が存在しない場合、pysparkによる一括更新時に例外を無視する方法

pysparkでelasticsearch hadoopパッケージを使用して更新操作を実行しようとしています。ドキュメント上には、データが見つからなければ例外がスローされます。 pysparkでこの例外を無視する最良の方法は何ですか？または、raise_on_exception = False、raise_on_error = False、python elasticsearch APIで提供され

python apache-spark elasticsearch pyspark elasticsearch-hadoop 2017-06-23

---