ディスクにメモを付ける - Python - 永続的なメモ化

Question

関数の出力をディスクに書き留める方法はありますか？

私は機能

def getHtmlOfUrl(url): 
    ... # expensive computation 

を持っているし、ような何かしたいと思います：

def getHtmlMemoized(url) = memoizeToFile(getHtmlOfUrl, "file.dat") 

をして、URLごとに一度だけ高価な計算を行うように、getHtmlMemoized（URL）を呼び出します。

Answer 1

Pythonは、 s - デコレータ。基本的に、デコレータは、関数のソースコードを変更せずに、追加の機能を提供するために別の関数をラップする関数です。あなたはそれを持ってたら

import json 

def persist_to_file(file_name): 

    def decorator(original_func): 

     try: 
      cache = json.load(open(file_name, 'r')) 
     except (IOError, ValueError): 
      cache = {} 

     def new_func(param): 
      if param not in cache: 
       cache[param] = original_func(param) 
       json.dump(cache, open(file_name, 'w')) 
      return cache[param] 

     return new_func 

    return decorator 

、@ -syntaxを使用して機能を「飾る」とあなたは準備が整いました：あなたのデコレータは次のように書くことができます。

@persist_to_file('cache.dat') 
def html_of_url(url): 
    your function code... 

このデコレータが意図的に簡略化され、ソース関数が受け入れまたはJSONシリアライズできないデータを返すとき、例えば、すべての状況で動作しない可能性があることに注意してください。

デコレータの

より：How to make a chain of function decorators?

そして、ここでは、デコレータが終了時に、一度だけのキャッシュを保存させる方法は次のとおりです。

import json, atexit 

def persist_to_file(file_name): 

    try: 
     cache = json.load(open(file_name, 'r')) 
    except (IOError, ValueError): 
     cache = {} 

    atexit.register(lambda: json.dump(cache, open(file_name, 'w'))) 

    def decorator(func): 
     def new_func(param): 
      if param not in cache: 
       cache[param] = func(param) 
      return cache[param] 
     return new_func 

    return decorator 

Answer 2

このような何かを行う必要があります。

import json 

class Memoize(object): 
    def __init__(self, func): 
     self.func = func 
     self.memo = {} 

    def load_memo(filename): 
     with open(filename) as f: 
      self.memo.update(json.load(f)) 

    def save_memo(filename): 
     with open(filename, 'w') as f: 
      json.dump(self.memo, f) 

    def __call__(self, *args): 
     if not args in self.memo: 
      self.memo[args] = self.func(*args) 
     return self.memo[args] 

基本的な使用法：

your_mem_func = Memoize(your_func) 
your_mem_func.load_memo('yourdata.json') 
# do your stuff with your_mem_func 

あなたがそれを使用した後、ファイルにあなたの「キャッシュ」を書きたい場合は - 再びロードします将来：

your_mem_func.save_memo('yournewdata.json') 

Answer 3

がjoblib.Memoryをチェックしてください。それはまさにそれを行うためのライブラリです。

Answer 4

Artemis libraryには、このためのモジュールがあります。あなたは、あなたの関数を飾る

（あなたはpip install artemis-mlする必要があります）：

from artemis.fileman.disk_memoize import memoize_to_disk 

@memoize_to_disk 
def fcn(a, b, c = None): 
    results = ... 
    return results 

は内部的には、このハッシュでメモ・ファイルの入力引数のうち、ハッシュを行い、保存します。

Answer 5

あなたのデータは、シリアライズJSONであると仮定すると、このコードは、それが以前に実行されていた場合、あなたはあなたのキャッシュされたデータを取得し、それを呼び出すだけで、その後

import os, json 

def json_file(fname): 
    def decorator(function): 
     def wrapper(*args, **kwargs): 
      if os.path.isfile(fname): 
       with open(fname, 'r') as f: 
        ret = json.load(f) 
      else: 
       with open(fname, 'w') as f: 
        ret = function(*args, **kwargs) 
        json.dump(ret, f) 
      return ret 
     return wrapper 
    return decorator 

がgetHtmlOfUrlを飾る仕事とすべきです。

は、Python 2.xとPythonの3.xの

Answer 6

Pythonのシェルブモジュールによって供給クリーナー液でチェック。利点は、キャッシュがリアルタイムで更新されることです。これは例外的な証明です。

import shelve 
def shelve_it(file_name): 
    d = shelve.open(file_name) 

    def decorator(func): 
     def new_func(param): 
      if param not in d: 
       d[param] = func(param) 
      return d[param] 

     return new_func 

    return decorator 

@shelve_it('cache.shelve') 
def expensive_funcion(param): 
    pass 

これにより、関数が1回だけ計算されやすくなります。次の同じパラメータの呼び出しは、格納された結果を返します。