スーパーバイザでスレッドが実行されていない

Question

スレッドを使用して5つのWebサイトを同時にクロールする基本クローラを開発中です。 サイトごとに新しいスレッドが作成されます。シェルからプログラムを実行すると、出力ログには5つのスレッドがすべて期待どおりに実行されることが示されます。 しかし、このプログラムをsupervisordプログラムとして実行すると、ログには毎回2つのスレッドしか実行されていないことが表示されます。ログは、5つのスレッドがすべて開始されたが、そのうちの2つだけが実行されており、残りがスタックされていることを示します。 シェルから実行したときとスーパーバイザから実行したときに、この不一致がなぜ起こっているのか理解できません。私が考慮していないものはありますか？

for sid in entries: 
    url = entries[sid] 
    threading.Thread(target=self.crawl_loop, \ 
        args=(sid, url)).start() 

UPDATES：ここ

がスレッドを作成するコードであるコメントでtdelaneyによって示唆されるように が、私はsupervisord構成で作業ディレクトリを変更し、現在すべてのスレッドが実行されています予想通り。クローラファイルディレクトリに作業ディレクトリを設定すると、問題が修正される理由はまだ分かりませんが、おそらく、監督者がプロセスを管理する方法を知っている人が説明できるでしょうか？

Answer 1

AFAIKのpythonスレッドは、スレッドセーフではないため、スレッドを正しく実行できません。これは、コードの同時実行をシミュレートする機能を提供します。あなたのコードは1コアだけを使用します。

https://wiki.python.org/moin/GlobalInterpreterLock

https://en.wikibooks.org/wiki/Python_Programming/Threading

したがって、より多くのプロセス/スレッドを生成しないことも可能です。

私はマルチプロセッシングを使うべきでしょうか？

https://docs.python.org/2/library/multiprocessing.html

Answer 2

Iは同じサイレント問題を有するが、その後Iスーパーバイザ問題を引き起こした、trueにデーモンを設定したことに気づきました。

https://docs.python.org/2/library/threading.html#threading.Thread.daemon

監督の下で実行しているときにそう答えは、デーモン=真のスクリプトを自分で実行し、偽です。

Answer 3

私はちょうど非常に似た問題を経験していました。

私の場合は、シリアルデバイス（Arduino nano on/dev/ttyUSB0）のリスンに専用のスレッドを使用して、低消費電力のマシン（RaspberryPi）で作業していました。コードはコマンドラインで完全に機能しましたが、シリアル読み取りスレッドはスーパーバイザの下で停止しました。

ちょっとハッキングして（ここではすべてのオプションを試してみた）、私はバッファリングされていないモードでPythonを実行しようとしましたが、問題を解決できました！私はhttps://stackoverflow.com/a/17961520/741316からアイデアを得ました。

本質的に、私は単に-uフラグを持つpythonを呼び出しました。