Pythonロガーを使用して2.5メガバイトのキャラクタバッファを書き込む

Question

マルチスレッドアプリケーションでは、（それぞれ上限50Kのログメッセージを含む）ログメッセージのセットをブロックとして書く必要がある状況があります。一つずつ。

明白な副作用があるので、私はここでスレッドロックを使用しないでください（私のブロックロギングをクリティカルセクションとして使用する）。シリアライズ、シンクロナイゼーション、パフォーマンスを低下させます。

同期を避けるため、各スレッドが独自のバッファを使用するように、スレッドごとのバッファを使用することを考えています。バッファを使用する前または後に、すなわちログがファイルに書き込まれると、それもクリーニングされます。

私はバッファにこれらのログを書いて最初にすることを考えた後、私は約50バイトとログメッセージのサイズを考慮した場合

logger.info("Log message") 

PythonのロガーのログメッセージのAPIを使用して、ログファイルにバッファを書いていますこのバッファの合計サイズは2.5MBytes（50K x 50バイト）になります

私はpythonのロガーがこのバッファサイズでどのように動作するのか理解したいと思いますか？それがパフォーマンスに影響を与えるかどうか、それがどのように影響するか？

このような種類のログをサポートするために利用できる他のPython APIがあるかどうか教えてください。

Answer 1

いいえ、pythonはファイルに2.5MBのバッファを書き込んでも問題ありません。

ディスクI/Oのような問題は、書き込みがメインスレッドなどをブロックするかどうかがパフォーマンスに影響する可能性がありますが、一般的にはPythonは2.5MBバッファをディスクに簡単にダンプできます。