Cのpopenのパフォーマンス

Question

私はCで実装する予定のプログラムを設計していますが、外部プログラムを呼び出すための最良の方法（パフォーマンスに関して）について質問があります。ユーザーは私のプログラムにファイル名を与えようとしているのですが、私のプログラムはそのファイルを入力として別のプログラムを実行しようとしています。私のプログラムは、他のプログラムの出力を処理します。

私の典型的なアプローチは、他のプログラムの出力をファイルにリダイレクトしてから、プログラムが完了したらそのファイルを読み込ませることです。しかし、I/O操作が非常に高価であることを理解しており、このプログラムをできるだけ効率的にしたいと考えています。

少し見ましたが、システムコマンドを実行して出力を取得するためにpopenコマンドが見つかりました。このアプローチのパフォーマンスと、今説明したアプローチのパフォーマンスとの比較popenは外部プログラムの出力を一時ファイルに書き込むか、プログラム出力をメモリに保存しますか？

また、パフォーマンスを向上させる別の方法がありますか？

Answer 1

Unixシステムでは、popenはメモリ内パイプを通じてデータを渡します。データがスワップアウトされないと仮定すると、ディスクにヒットしません。これは、呼び出されているプログラムを変更せずに得ることができるほどの優れたパフォーマンスを提供します。

Answer 2

popenはあなたが求めていることをほとんどしています：pipe-fork-exec idiomを実行し、読み書きできるファイルポインタを与えます。

ただし、パイプバッファーのサイズには制限があります（〜4K iirc）。すぐに読み取ることができない場合、他の処理がブロックされる可能性があります。

マウントポイントとして共有メモリにアクセスできますか？ [Linuxシステムでは/ dev/shmマウントポイントがあります]

Answer 3

1）popenプログラム出力をメモリに保存します。実際にはパイプを使用してプロセス間でデータを転送します。

2）popenは、パフォーマンスのための最良のオプションとしてIMHOを探します。

また、レイテンシを短縮するファイルよりも利点があります。私。あなたのプログラムは、生成されている間に、その場で他のプログラムの出力を得ることができます。この出力が大きい場合は、他のプログラムが終了して出力処理を開始するまで待つ必要はありません。

Answer 4

ファイルが遅いディスク上にある場合は一時ファイルへの書き込み

が遅くなることがあります（UNIXまたはLinuxを仮定）。また、出力全体がディスクに収まる必要があることを意味します。

popenパイプを使用して他のプログラムに接続します。つまり、出力はプログラムに徐々に送信されます。それが生成されると、それはあなたのプログラムchunk-by-chunkにコピーされます。

Answer 5

サブコマンドをファイルにリダイレクトする際の問題は、popen通信を別のプロセスで傍受することはできないが、潜在的に安全でない可能性があるということです。さらに、マスタープログラムのいくつかのインスタンス（したがってサブコマンド）を実行している場合は、ファイル名が一意であることを確認する必要があります。 popenソリューションではこの問題は発生しません。

パフォーマンスがpopenの場合、1バイトのチャンクを読み書きしない限り、正常です。常に512の倍数（4096など）を読み書きします。しかし、それはファイル操作にも当てはまります。 popenは、プロセスと子プロセスをパイプで接続します。したがって、パイプを読み込まないと、パイプがいっぱいになり、子プロセスは書き込みできなくなります。交換されたデータはすべてメモリに保存されますが、それはわずかです。