Storm 1.0.2 hdfs-boltデータが送信されない場合のタプル

Question

私はKafka SpoutからJSONデータを受け取り、2つのボルトを処理し、hdfs-ボルト。 Kafka 0.8.2.1とHadoop 2.5.0でStorm 0.9.6を使用すると、これは完全に機能しました。私がこれを実装した生産システムは、ツールをStorm 1.0.2、Kakfa 0.10.1.0、およびHadoop 2.6.0にアップデートすることです。上記のバージョンのパッケージ情報を更新すると、hdfsボルトはスパウトからデータを送信する前に "ゴースト"タプルを開始します。トポロジが終了するまで、UIに嫌なことが表示され続けます。さらに、実際にデータを処理するときに、メッセージがhdfsに書き込まれることがあります。ほとんどの場合、何も出力されません。どのようなバージョンの違いがこのような問題を引き起こすかについてのアイデア？

Answer 1

わかりませんが、あなたのボルトに放出されるティックタプルに直面している可能性があります。

public void execute(Tuple tuple, BasicOutputCollector oc){  
    if (!TupleUtils.isTick(tuple)) 
    { 
     //Your code 
    } 
}