Python - 頻繁に更新されるリモートログファイルからの読み取り

Question

リモートネットワークデバイス（F5 bigip）に常に書き込まれるログファイルがあります。私はそのログファイルを取得して解析できるLinuxホッピングステーションを持っています。私は "tail -f"を実装する解決策を見つけましたが、ログアウトした後にスクリプトを実行し続けるために、niceまたは類似のものを使用することはできません。私ができることは、5分ごとにクローンジョブを実行してファイルをコピーすることです。私はダウンロードしたファイルを処理することができますが、次にコピーするときには多くの一般的なデータが含まれますので、新しいものだけをどのように処理すればよいですか？どんな助けや提案も大歓迎です！

Answer 1

2つの可能性のある（非Python）ソリューションが問題の原因です。あなたがログアウトした後、あなたのマシン上で実行中のスクリプトを保存しておきたい場合は、のような&と組み合わせてnohupをチェックしてください。

Linuxマシン上でnohup my_program & > /dev/null

あなたは

grep -Fxv -f old.txt new.txt > dif.txtを持つ2つのファイルの差分を抽出することができます

ファイルが大きい場合は、処理が遅くなることがあります。 dif.txtファイルには新しいものだけが含まれ、プログラムで検査することができます。 diffを含む解決策もあります。