scipy.misc.imreadは複数のスレッドから実行するのが安全か効率的ですか？

Question

私は、Pythonキューを使用してプロデューサ/コンシューマモデルをセットアップしました。あるプロデューサーでは、scipy.misc.imreadを使って画像を読んでいます。

1つのスレッドで画像を読み取る速度が十分ではなく、読み取りに1画像あたり約0.2秒かかります。 SSDから約20MB /秒の読み取り。

私は別の同じスレッドをpythonのthreadingモジュールを使って追加しようとしました。しかし、scipy.misc.imreadで費やされた時間は約2倍に増加し、2つのスレッドは1とほぼ同じ速さで画像を読み取るようになりました。

私のSSDはランダムリードでも40MB /秒のスループットを処理できると確信しています。 dd書き込みテストでは、書き込み速度は800MB /秒です。

scipy.misc.imreadがスレッドの中でクリティカルな領域として実行されているのか疑問に思っていますか？この問題を回避するにはmultiprocessingが必要ですか？

Answer 1

scipy.misc.imreadは複数のスレッドから安全ですが、呼び出しごとにグローバルインタープリタがロックされるため、パフォーマンスはマルチスレッドの恩恵を受けません。

これはマルチプロセッシングからうまく機能し、予期しない問題は発生しません。