スレッドを使ったPython埋め込み - デッドロックの回避？

Question

Pythonを組み込み、PythonからC++へのコールバックを許可し、Pythhonコードでスレッドを生成させ、デッドロックを回避する方法はありますか？

は問題はこれです：Pythonのに呼び出すには

• 、私はGILを保持する必要があります。通常、インタープリタを最初に作成したときにメインのスレッド状態を取得し、Pythonにコールする前にPyEval_RestoreThread（）を使用してGILを取得し、スレッド状態でスワップすることで、これを行います。

• 私は、Pythonから呼び出されると、ホストの別のクリティカルセクションで保護されている保護されたリソースにアクセスする必要があるかもしれません。これは、PythonがGILを保持している可能性があることを意味します（私が最初に呼び出されたスレッド以外のスレッドから潜在的に）。そして保護ロックを取得しようとします。

• Pythonを呼び出すときに、同じロックを保持する必要があるかもしれません。これは、たとえば、オブジェクトのコレクションを繰り返し処理している可能性があるためです。

問題がホストを取ることを期待し、私は、Pythonに呼び出したとき、私はGILを保持していても、Pythonは、それをあきらめ、別のスレッドにそれを与える、その後、私のホストにそのスレッドの呼び出しを持っているかもしれないということですロック。一方、ホストはホストロックとGILロックを取り、Pythonを呼び出します。デッドロックが続く

ここで問題となるのは、Pythonが呼び出されている間にGILを別のスレッドに放棄してしまうことです。それはそれが期待されるものですが、ロックをシーケンスすることが不可能になります。私が最初にGILを取ってから自分のロックを取り、Pythonを呼び出すと、Pythonは自分のロックを取ることを期待して別のスレッド（GILを解放してGILを順序付けしなかったため）。

私のシステムの残りの部分は、システム内のすべての可能なロックに対してGILを使用することはできません。それは、Pythonがそれを別のスレッドにリリースする可能性があるため、正しく動作しません。

私は、ホストのすべてのコードを制御していないため、私のホストがPythonを入力するときにロックを保持しないことを実際に保証することはできません。

これはできないのでしょうか？

Answer 1

"Pythonを呼び出すときに、同じロックを保持する必要があるかもしれません。オブジェクトのコレクションなどを繰り返し処理している可能性があるからです。

これは、複数のスレッドを持つ単一のプロセスが適切でないことを示すことがよくあります。おそらく、これは、コレクションの特定のオブジェクトを持つ複数のプロセスがより理にかなっている状況です。

それぞれ独自のスレッドプールを持つ独立プロセスは、管理が容易です。

Answer 2

pythonによって呼び出されるコードは、ロックを取る前にGILを解放する必要があります。 そのように私はそれがデッドロックに入ることはできないと信じています。

Answer 3

最近、pyopensslのリストに同様の問題についての議論がありました。これを説明しようとするとうまくいけば間違ってしまうので、代わりにthe problem in questionに紹介しましょう。