Apache flume elastic search sinkを追加しました。

Question

Apache flumeを使用したいと思います。 このネイティブシンクを使用するようにcygnusを設定するにはどうすればよいですか？

私はApacheの水路のlibにネイティブjar fileを入れて、folowingとしてエージェントを設定ください：

# Name the components on this agent 
a1.sources = r1 
a1.sinks = k1 
a1.channels = c1 

# Describe/configure the source 
a1.sources.r1.type = netcat 
a1.sources.r1.bind = localhost 
a1.sources.r1.port = 44444 

# Describe the sink 
a1.sinks.k1.type = logger 

# Use a channel which buffers events in memory 
a1.channels.c1.type = memory 
a1.channels.c1.capacity = 1000 
a1.channels.c1.transactionCapacity = 100 

# Bind the source and sink to the channel 
a1.sources.r1.channels = c1 
a1.sinks.k1.channel = c1 

、その後、私は弾性検索ネイティブのためのシグナス-NGSI剤、その他のための2つのシグナスインスタンス1を起動しますシンク？ cygnusインスタンスの実行方法が見つかりません（ソースからcygnusをインストールして、Linuxサービスを起動できないようにしました）

cygnus-ngsiとこの新しいシンクで同じソースを使用することは可能ですか？私は両方のために同じソースが必要になるためです。

ありがとうございます。

Answer 1

CygnusはApache Flumeに基づいており、すべてのFlumeライブラリをインストールします。これは、あなたが望むなら、純粋なFlumeエージェントとしてCygnusを使うことさえできるということです。つまり、CygnusはApache Flumeの拡張版です。

したがって、Cygnusのネイティブシンクを使用することは設定の問題です。 ElasticSearchSinkの特定の場合には、単にdocumentationは、次のとおり

cygnusngsi.sinks = elastic-sink <other_flume_sinks> <other_cygnus_sinks> 
cygnusngsi.channels = elastic-channel <other_channels> 
... 
cygnusngsi.sinks.elastic-sink.type = elasticsearch 
cygnusngsi.sinks.elastic-sink.hostNames = 127.0.0.1:9200,127.0.0.2:9300 
cygnusngsi.sinks.elastic-sink.indexName = foo_index 
cygnusngsi.sinks.elastic-sink.indexType = bar_type 
cygnusngsi.sinks.elastic-sink.clusterName = foobar_cluster 
cygnusngsi.sinks.elastic-sink.batchSize = 500 
cygnusngsi.sinks.elastic-sink.ttl = 5d 
cygnusngsi.sinks.elastic-sink.serializer = org.apache.flume.sink.elasticsearch.ElasticSearchDynamicSerializer 
cygnusngsi.sinks.elastic-sink.channel = elastic-channel 

源については、単一のエージェント構成で複数を設定することができ、その後、専用チャネルを介して異なるシンクに各ソースを接続しています。概略的には：

source1 --- channel1 --- sink1 
source2 --- channel2 --- sink2 

または両方のシンクで同じソースを使用できます。この場合、2つの専用チャネルを介して2つのシンクを1つのソースに接続する必要があります。また、複製チャネルセレクタ（これを設定する必要はありません。これがデフォルトの動作です）は、着信NGSI通知のコピーを作成します。各チャンネル概略：

  ___ channel1 --- sink1 
source__/
     \___ channel2 --- sink2