Apache flumeとApache stormの違いは何ですか？

Question

Apache flumeとApache stormの違いは何ですか？

• ストームを使用してログデータをHadoopクラスタに取り込むことは可能ですか？
• 両方ともストリーミングデータに使用されているため、flormの代わりにストームを使用できますか？

Answer 1

• Apacheの水路は、特にlogs.Flumeは、それがデータシンクを呼び出す仕組みを利用して消費者にデータをプッシュし、またストリーミング大量のデータを収集するためのサービスです。 Flumeは、HDFS、HBase、Cassandra、およびいくつかのリレーショナルデータベースを含む多くの一般的なシンクにすぐにデータをプッシュすることができます。
• Apache Stormにはストリーミングデータが含まれています。 Stormはバッチ処理とストリーム処理の橋渡しであり、Hadoopはネイティブに処理するようには設計されていません。ストームは継続的に実行され、着信データのストリームを処理してバッチに分割します。そのため、Hadoopは簡単に取り込むことができます。データソースはスパウトと呼ばれ、各処理ノードはボルトです。 Boltは、出力をデータストアやその他のサービスにプッシュするなど、データの計算と処理を実行します。

• 箱から出てきたものが必要な場合は、「プルーム」を選択し、プッシュまたはプルのどちらが理にかなっているかどうかを決定します。ストリーミングデータが、今のところ開発済みのHadoop環境の小さなアドオンであれば、Stormは良い選択です。

• はい、我々は

を水路に代わるものとして、嵐を使用することができます嵐

を使用してHadoopクラスタにログデータを摂取することが可能です