Flume自動スケーラビリティとフェイルオーバー

Question

私の会社では、かなり大量のログ処理にflumeの使用を検討しています。ボリューム処理（スケーラビリティ）とフェールオーバー（信頼性）の理由からログ処理を分散する必要があると考えており、Flumeが当然の選択と思われます。

しかし、Flumeが自動スケーラビリティとフェールオーバーを提供する方法がわからないため、われわれは何かを明らかにしてはならないと考えています。

ログラインごとにAを行い、それを渡してBを行い、それを渡してCを実行するなど、Flumeとよく似ているようなフローを定義したい。しかし、私は純粋に論理的な言葉でこの流れを定義することができたいと思うし、基本的に言って、 "ねえ、Flume、ここにサーバーは、ここでは、流れの定義は、仕事に行く！サーバーは停止し、（そしてopsはそれらを再起動します）、サーバーをクラスターに追加して他のユーザーを退職させます。flumeは、使用可能な容量を持つノードに作業を指示します。

この説明は、Hadoopのmap-reduceがスケーラビリティとフェイルオーバーを実装する方法で、Flumeは同じものと想定しています。ただし、マニュアルでは、各論理ノードが実行されている物理サーバーを手動で構成し、各ノードに特定のフェールオーバーシナリオを構成する必要があることを暗示しています。

私は正しく、Flumeは私たちの目的を果たしていないか、私は何かを逃しましたか？

ありがとうございました。

Answer 1

複数のマスタを使用しているかどうかによって、設定をフェイルオーバーパターンに従って実行するようにコードすることができます。

これはガイドのかなり詳細です：http://archive.cloudera.com/cdh/3/flume/UserGuide/index.html#_automatic_failover_chains

あなたの質問に答えるために、ぶっきらぼうに、水路はまだ自動的にフェイルオーバー・スキームを把握する能力を持っていません。