現在のアプローチせずに成功しました私は両方の 'import x'と 'from x import y' dependency bundlingを有効にするつもりです。この現在の実装では、コードの起源とは対照的に、使用されている各モジュールにメソッドのコピーを作成していますが、各使用法はメモリ内の同じメソッドへの参照に過ぎません（ただし、コードの後の節を参照してください）。 ///のmodutil
/// /// analysis_script.py（簡潔にするために除外依存性）
import test_module
from third_level_module import z
def f():
for i in range(1,5):
test_module.g('blah string used by g')
z()
/// /// driver.py
import modutil
import analysis_script
modutil.serialize_module_with_dependencies(analysis_script)
。例えばPY ///
import sys
import modulefinder
import os
import inspect
import marshal
def dump_module(funcfile, name, module):
functions_list = [o for o in inspect.getmembers(module) if inspect.isfunction(o[1])]
print 'module name:' + name
marshal.dump(name, funcfile)
for func in functions_list:
print func
marshal.dump(func[1].func_code, funcfile)
def serialize_module_with_dependencies(module):
python_path = os.environ['PYTHONPATH'].split(os.pathsep)
module_path = os.path.dirname(module.__file__)
#planning to search for modules only on this python path and under the current scripts working directory
#standard libraries should be expected to be installed on the target platform
search_dir = [python_path, module_path]
mf = modulefinder.ModuleFinder(search_dir)
#__file__ returns the pyc after first run
#in this case we use replace to get the py file since we need that for our call to mf.run_script
src_file = module.__file__
if '.pyc' in src_file:
src_file = src_file.replace('.pyc', '.py')
mf.run_script(src_file)
funcfile = open("functions.pickle", "wb")
dump_module(funcfile, 'sandbox', module)
for name, mod in mf.modules.iteritems():
#the sys module is included by default but has no file and we don't want it anyway, i.e. should
#be on the remote systems path. __main__ we also don't want since it should be virtual empty and
#just used to invoke this function.
if not name == 'sys' and not name == '__main__':
dump_module(funcfile, name, sys.modules[name])
funcfile.close()
/// /// sandbox_reader.py
import marshal
import types
import imp
sandbox_module = imp.new_module('sandbox')
dynamic_modules = {}
current_module = ''
with open("functions.pickle", "rb") as funcfile:
while True:
try:
code = marshal.load(funcfile)
except EOFError:
break
if isinstance(code,types.StringType):
print "module name:" + code
if code == 'sandbox':
current_module = "sandbox"
else:
current_module = imp.new_module(code)
dynamic_modules[code] = current_module
exec 'import '+code in sandbox_module.__dict__
elif isinstance(code,types.CodeType):
print "func"
if current_module == "sandbox":
func = types.FunctionType(code, sandbox_module.__dict__, code.co_name)
setattr(sandbox_module, code.co_name, func)
else:
func = types.FunctionType(code, current_module.__dict__, code.co_name)
setattr(current_module, code.co_name, func)
else:
raise Exception("unknown type received")
#yaa! actually invoke the method
sandbox_module.f()
del sandbox_module
関数グラフは、直列化する前に次のようになります。具体的に
module name:sandbox
('f', <function f at 0x15e07d0>)
('z', <function z at 0x7f47d719ade8>)
module name:test_module
('g', <function g at 0x15e0758>)
('z', <function z at 0x7f47d719ade8>)
module name:third_level_module
('z', <function z at 0x7f47d719ade8>)
、見て関数zでは、すべての参照が同じアドレス、つまり0x7f47d719ade8を指していることがわかります。我々が持っているサンドボックスの再構築後にリモートプロセスに
：
print sandbox_module.z
<function z at 0x1a071b8>
print sandbox_module.third_level_module.z
<function z at 0x1a072a8>
print sandbox_module.test_module.z
<function z at 0x1a072a8>
これが私の心を吹きます！私はここですべてのアドレスが再構築後にユニークになると思ったでしょうが、何らかの理由でsandbox_module.test_module.zとsandbox_module.third_level_module.zに同じアドレスがありますか？あなたはおそらく、例えばPythonライブラリからインポート機能をシリアル化する必要はありません
[それは依存関係を持つpython関数をpickleする方法]の質問に続きます。（http://stackoverflow.com/q/10048061/448474） – hynekcer