Apache Storm：Kafkaスパウトのトピックワイルドカードのサポート

Question

複数のkafkaスパウトタスクを持つトポロジがあります。各スパウト・タスクは、カフカのトピックの集合からメッセージのサブセットを読み込むことになっています。トピックは、AAA.BBB。*などのワイルドカードを使用して購読する必要があります。予想される動作は、すべてのスパウト・タスクが、ワイルドカードに一致するすべてのトピックのすべてのメッセージをまとめて消費することです。各メッセージは、1つのスパウト・タスクにのみルーティングされます（障害シナリオを無視する）。これは現在サポートされていますか？

Answer 1

おそらく、DynamicBrokersReaderクラスを使用できます。

Map conf = new HashMap(); 
... 
conf.put("kafka.topic.wildcard.match", true); 

wildCardBrokerReader = new DynamicBrokersReader(conf, connectionString, masterPath, "AAA.BBB.*"); 
List<GlobalPartitionInformation> partitions = wildCardBrokerReader.getBrokerInfo(); 
... 
for (GlobalPartitionInformation eachTopic: partitions) { 
    StaticHosts hosts = new StaticHosts(eachTopic); 
    SpoutConfig spoutConfig = new SpoutConfig(hosts, eachTopic.topic, zkRoot, id); 
    KafkaSpout spout = new KafkaSpout(spoutConfig); 
} 
... // Wrap those created spout instances into a container