javaのpipeまたはBufferedReaderはデータを失う可能性がありますか？

Question

目指す

はS3上のApacheサーバとストアからすべてのログを読むには

背景

我々はhttpd.conf

ErrorLog "| /usr/bin/tee -a /var/log/httpd/error_log | /usr/bin/java -cp /usr/local/bin/CustomProducer/producer-1.0-SNAPSHOT-jar-with-dependencies.jar stdin.producer.StdInProducer /usr/local/bin/CustomProducer/Config.json >> /var/log/producer_init.log 2>&1"

このプット内のステートメント次ていますログインはerror_logファイルとApache kafkaのJavaプロデューサが消費するstd out

このプロデューサは、最終的にkafkaクラスタに、次にamazon S3にデータを送信します。

error_logファイルを回転させ、その後もlogrotate

プロデューサーコード

this.stdinReader = new BufferedReader(new InputStreamReader(System.in)); 
try { 
     while ((msg = this.stdinReader.readLine()) != null) { 
       //Some processing which may introduce some delay 
       //Send message to cluster 
       this.producer.send(message); 
     }  
    } 

問題時間ごとにログがカフカバケットとlogrotateのバケットから比較され

を使用してS3に保存されます特定のパターンや時間がないと断続的に失われるログがあります。

pipe制限またはBufferedReader制限のためですか？これを見つける方法は何ですか？

Answer 1

いいえ少しでも。 Readerは、基になるパイプまたはソケットとまったく同じ信頼性があります。 TCPの場合は、接続をリセットせずにデータを失うことはありません。