Apache Stormを使用してデータを保存する適切な方法

Question

Apache Stormを使用してSolrにデータを保存することができます。しかし、同じ値が複数回保存されているようです。今、私はそれをリンクしていますが、Apache Stormを使用してデータを保存する最良の方法を知ってもらえませんか？私はシャッフルグループを使用しています。

おかげで、

よろしく

Parag Dharmadhikari

Answer 1

は基本的に、嵐はない "一度だけ"、 "少なくとも一回" サポートしているため、データの繰り返しが可能です。

しかし、この繰り返しは理由なしには発生しませんが、通常は何らかの例外によって発生します。

あなたは、嵐のWeb UIで失敗するマッサージがたくさんあるかどうかを確認する必要があります。次に、あなたのコードについてチェックする必要があります：1.あなたのコードの例外は何ですか？ 2.すべてのメッセージは正しい方法で承認されていますか？ 3.プロセスが遅すぎるため、タイムアウトが発生し、メッセージが失敗します。

さらに、storm tridentが表示されていますが、「一度」処理がサポートされています。

Answer 2

最初にSolr index is using a unique IDを確認してください。あなたの状況について次の2つのオプションがあります。

• 自身が
• 持ってSolr Solrのドキュメント

最初にデータを使用して一意のIDを生成する文書のSolrでユニークなIDを指定しますが、おそらく最も簡単です。おそらく入力をハッシュして一意のIDを取得し、それをSolrに送る "ドキュメント"に含めるだけです。