Pythonプロセス間の共有メモリ

Question

私はPythonプロセス間でメモリを共有する方法を見つけようとしています。基本的には、複数のPythonプロセスがREAD（読み込みのみ）および使用（突然変異なし）できる必要があるオブジェクトがあります。今、これはredis + strings + cPickleを使って実装されていますが、cPickleは貴重なCPU時間を要しますので、私はそれを使用する必要はありません。私がインターネット上で見たpython共有メモリの実装のほとんどは、ファイルとピクルを必要とするように見えます。これは基本的に私がすでにやっていることです。

私は、基本的にメモリ内のpythonオブジェクトデータベース/サーバーと対応するCモジュールをデータベースとインターフェースするように書く方法があると思いますか？

基本的に、Cモジュールはオブジェクトに書き込むアドレスをサーバーに要求し、サーバーはアドレスで応答し、モジュールはオブジェクトを書き込み、指定されたキーを持つオブジェクトが書き込まれたことをサーバーに通知します指定された場所のディスクにコピーします。次に、特定のキーを持つオブジェクトを取得するプロセスがあれば、指定されたキーのメモリ位置をdbに問い合わせるだけで、サーバーはその位置で応答し、モジュールはその領域をメモリにロードする方法を知り、 pythonオブジェクトをpythonプロセスに戻してください。

これは完全に不合理であるか、実際に実装するのは難しいですか？私は不可能なことを追いかけていますか？どんな提案も大歓迎です。ありがとうインターネット。

Answer 1

不合理ではありません。

IPCはメモリマップファイルで行うことができます。 Pythonは中に組み込まれた機能を持っています

http://docs.python.org/library/mmap.html

ちょうどあなたが共有ファイルを持っているプロセスとちょっと-プレストの両方でファイルをmmapさ。もちろん、両方のプロセスでそれをポーリングして、何が変更されているかを確認する必要があります。そして、あなたは両方の間で書き込みを協力しなければなりません。データを格納するフォーマットを決定します。しかし、それはあなたの問題に対する一般的な解決策です。

Answer 2

酸洗いをしたくない場合は、multiprocessing.sharedctypesが適しています。しかし、それは少し低レベルです。単一の値または指定された型の配列が得られます。

子プロセスにデータを配布する別の方法（片道）はmultiprocessing.Pipeです。これはPythonオブジェクトを扱うことができ、C言語で実装されているので、酸漬けを使用するかどうかはわかりません。