PythonはPopenを継続的に読み取っています（Windows）

Question

私はstdout.readlineを試して、結果を（つまり、端末に印刷した時点で）multiprocessing.Queueの別の.pyファイルに入れてください。しかし、コール：

res = subprocess.Popen(command, stdout=subprocess.PIPE, bufsize=1) 
with res.stdout: 
    for line in iter(res.stdout.readline, b''): 
     print line 
res.wait() 

はブロックされます、結果は（終了コードが返されていない場合または全くない）プロセスが完了した後に印刷されます。

私はこれに対する答えを閲覧し、bufsize = 1、読み込みを処理するスレッドを生成する、filedescriptorsなどを使用してみましたが、うまくいかないようです。私はモジュールpexpectを使用しなければならないかもしれませんが、私はまだそれがどのように動作するのか分かりません。

私はまた、キューにデータを配置するには、しかしout.readlineをブロックするように思わ以来、結果は同じになります

def enqueue_output(self, out, queue): 
    for line in iter(out.readline, b''): 
     queue.put([line]) 
    out.close() 

を試してみました。

要約：印刷時にサブプロセス出力を私に利用可能にするにはどうすればよいですか？しかし、これらは私に返され、一度に1〜10行のチャンクを印刷し、プロセスが完了すると、

関連..だけでなく改行で区切ら：

Python subprocess readlines() hangs

Python: read streaming input from subprocess.communicate()

Non-blocking read on a subprocess.PIPE in python

Answer 1

@eryksunで説明されているように、コメントによって確認されたように、バッファリングの原因はCアプリケーションによるprintfの使用です。

デフォルトでは、printfは出力をバッファリングしますが、出力が改行でフラッシュされるか、または出力が端末に向けられたときに読み取りが発生すると、が出力されます。出力がファイルまたはパイプに送られると、実際の出力はバッファがいっぱいになったときにのみ発生します。

幸いにもWindowsでは、低レベルのバッファリング（*）がありません。つまり、プログラムの始めのほうにsetvbuf(stdout, NULL, _IONBF, 0);を呼び出すだけで十分です。残念ながら、バッファリングは一切必要ありません（_IONBF）.Windowsでのバッファリングはフルバッファリングとして実装されているためです。

（*）UnixまたはLinuxシステムでは、基本となるシステムコールで独自のバッファリングを追加できます。つまり、ローレベルのwrite(1, buf, strlen(buf));を使用するプログラムは、Windowsではバッファリングされませんが、標準出力がパイプまたはファイルに接続されている場合はLinuxでバッファされます。