logstashからkafkaへの出力 - メッセージ中のトピックデータ

Question

ファイルからデータをロードしてkafkaに送るlogstash用のconfファイルを作成します。

ファイルはjson形式であり、topicIdが入っています。これは私がこれまで持っているものである

..

input { 
    file { 
    path => "~/file1.json" 
    start_position => "beginning" 
    codec => "json" 
    } 
} 
filter { 
    json { 
     source => message 
    } 
} 
output { 
    kafka { 
    bootstrap_servers => "localhost" 
    codec => plain { 
     format => "%{message}" 
    } 
    topic_id => "???" 
    } 
} 

が、これは行うことができますか？

よろしく、 イド

Answer 1

はい、それは行うことができます。例えば

メッセージJSONは等topic_idキーが含まれている場合：logstashのカフカ出力プラグインに続い

"topicId": "topic1" 

を：

output { 
    kafka { 
    bootstrap_servers => "localhost" 
    codec => plain { 
     format => "%{message}" 
    } 
    topic_id => "%{topicId}" 
    } 
}