elasticsearch-hadoop

5熱

1答えて

Elasticsearch-Hadoopライブラリがドッキング・コンテナに接続できません

私はCassandraから読み取り、データを処理/変換/フィルタリングし、その結果をElasticsearchに書き込みます。私は統合テストにドッカーを使用しています。私はスパークからElasticsearchに書き込むのに苦労しています。依存性：私はセットアップに私のテンプレートとインデックス別名をのtransportClientを使用してelasticsearchに接続することができ、私の

0熱

1答えて

Elasticsearch Hadoopを使用して用語ベクトルを取得する方法

私はElasticSearch-Hadoop APIを使用しています。そして私は、次のスパークのコードを使用して_mtermvectorを取得しようとしていた。 val query= """_mtermvectors { "ids" : ["1256"], "parameters": { "fields": [ "tname" ]

1熱

1答えて

Apache Sparkジョブからのエラスティック検索に空の文字列が書き込まれているときにエラーを修正する方法はありますか？

myRDD.saveToEsの機能を持つScalaアプリケーションを実行すると例外がスローされます（データフレームからsaveToEも試しました）。私のESバージョンは2.3.5です。 Spark 1.5.0を使用していますので、私が気づいていないSparkContextにこれを設定する方法があります。 foo_eff_dtという名前のフィールドが値と特定の場合であるdoes not（すなわち、空

0熱

1答えて

ResouceManagerがAccepted状態になっていました

私の2.2.0バージョンをhadoop HDFSと統合しようとしています。私の使命には、1つのマスターノードと1つのデータノードがあります。私のマスターノードに私のEsがインストールされています。しかし、それをHDFSと統合すると、私のリソースマネージャのアプリケーションジョブがAccepted状態になってしまいます。は、どういうわけか私は私の糸-site.xmlの設定を変更するためのリンクが

0熱

1答えて

reIndex ElasticSearchと並行する方法

私はreIndex ElasticSearchを使用しようとしていますが、スキャンとバルクAPIを使用しましたが、非常に遅いです。次のように私のpythonコード： actions=[] for hit in helpers.scan(es,scroll='20m',index=INDEX,doc_type=TYPE,params= {"size":100}): value

1熱

1答えて

Spark-StreamingからElastic Searchへの出力のフィールド名のマッピング

次のコードを使用して、Spark-Streamingの出力をElasticSearchに格納しています。私はスパークストリーミングの出力を適切な名前のi.e (Key, OsName, PlatFormName, Mobile, BrowserName, Count)にマッピングしたいと思います。しかし、現在わかるように、_1や_2などのようにESにマッピングされています。さらに、いくつかのフィ

0熱

1答えて

Apacheのスパーク：参加RDDS（データセット）

ことが可能にいくつかの「カスタム条件」を使用して（複数のフィールド上の）2つの(Pair)RDD S（またはDataset S/DataFrame秒）に参加することです/ファジー・マッチングを一致/ファジーカスタム条件を使用して、例えば数字または日付のための範囲/間隔、および様々な「距離法」。 Levenshtein、ストリングス？ PairRDDを取得するRDD内の「グループ化」のために、一つ

2熱

1答えて

1つのElasticsearchクラスターのデータを別のクラスターに再インデックスする方法

2つの別々のElasticsearchクラスターがあり、最初のクラスターのデータを2番目のクラスターに再インデクシングしたいのですが、などSparkContext構成内部Elasticsearchクラスタ、： var sparkConf : SparkConf = new SparkConf() .setAppName("EsReIndex") sparkConf.set("e

0熱

1答えて

elasticsearch-hadoopライブラリを使用して嵐からelasticsearchにタプルを索引付けすることはできません

StormのElasticsearchに文書を索引したいが、Elasticsearchに索引付けする文書を取得できませんでした。私のトポロジで私はこのようなJSON発するKafkaSpout持っている{「tweetId」：1、「テキスト」：「こんにちは」} EsBoltに嵐タプルを書き込みelasticsearch、HadoopのライブラリーからネイティブのボルトがありますElasticsear

0熱

1答えて

spark 2.0へのアップグレード

いくつかのSpark 1.6コードを2.0.1にアップデートしています。マップを使用していくつかの問題に取り掛かりました。 encoder-error-while-trying-to-map-dataframe-row-to-updated-rowのような他の質問がありますが、これらのテクニックを動作させることはできませんでした。このシナリオは下のように思わしくありません。 val df = sp