長時間実行されるPythonスクリプトのファイルと同期したメモリ内データの保持

Question

私はPython（2.7）スクリプトをサーバーとして動作させるため、非常に長い時間実行されます。このスクリプトには、クライアントの入力に基づいていつでも変更できる値を追跡するための値が用意されています。 、メモリを除いて（私はしかし私が欲しいそれを更新させる -

は、私が理想的に後だと、（JSON、基本的なタイプdict、list、unicode、intとfloatの値を持つ）Pythonのデータ構造を保つことができるものです人間が読める形式でこのデータを最新の状態に保ちながら、電源プラグが引っ張られたとしても、サーバはただ起動して同じデータを継続することができます。

私は基本的にデータベースについて語っていますが、私が保管しているデータは非常にシンプルで、たいてい1kB未満である可能性があるので、私は可能な限りシンプルなソリューションを探しています説明されたデータの完全性と私。このようなことをさせる良いPython（2.7）ライブラリがありますか？

Answer 1

私はあなたが完全に吹き飛ばされたデータベースを必要としないことに同意します。あなたが望むのは、すべてアトミックファイルがです。この問題は、シリアライゼーション/デシリアライゼーションとアトミック・ライティングの2つの部分で解決する必要があります。

最初のセクションでは、jsonまたはpickleが適切なフォーマットです。 JSONには人間が読めるという利点があります。これはあなたが直面している主要な問題のようには思われません。

あなたが文字列にあなたのオブジェクトを直列化したら、シングル同時ライター（POSIX上で、少なくとも、下記参照）と仮定すると、アトミックにファイルをディスクに書き込むために、次の手順を実行します。

import os, platform 
backup_filename = "output.back.json" 
filename = "output.json" 

serialised_str = json.dumps(...) 
with open(backup_filename, 'wb') as f: 
    f.write(serialised_str) 
if platform.system() == 'Windows': 
    os.unlink(filename) 
os.rename(backup_filename, filename) 

をos.renameは既存のファイルを上書きし、POSIXでは不可分ですが、これは悲しいことですがWindowsではそうではありません。 Windowsでは、成功しますが、os.unlinkos.renameはあなただけbackup_filenameなしfilenameを持っていることを意味し、失敗する可能性があります。 Windowsをターゲットにしている場合は、filenameの存在を確認するときにこの可能性を考慮する必要があります。

つ以上の同時ライターの可能性がある場合は、同期構造を検討する必要があります。

Answer 2

私たちは基本的にデータベースについて話していますが、非常に単純ですが、sqlite3モジュールを見ることをお勧めします。

Answer 3

ACIDの保証を提供するデータベースの実装方法を尋ねていますが、既製品を使用できない理由はまだありません。 SQLiteはこの種のものには完璧であり、あなたにそれらの保証を与えます。

ただし、KirbyBaseがあります。私は決してそれを使用していないと私はそれがACIDの保証を作るとは思わないが、あなたが探しているいくつかの特性があります。

Answer 4

人間が判読できる要件の理由は何ですか？

シンプルなデータベースソリューションの場合はsqliteを、オブジェクトをシリアル化してディスクに書き込むシンプルな方法の場合はpickleをお勧めします。しかし、どちらも特に人間が読むことはできません。

その他のオプションは、JSONまたはXMLです。組み込みのjsonモジュールを使用してオブジェクトをシリアル化し、ディスクに書き込むことができます。起動時に、そのファイルの有無を確認し、必要に応じてデータをロードします。 docsから

：

>>> import json 
>>> print json.dumps({'4': 5, '6': 7}, sort_keys=True, indent=4) 
{ 
    "4": 5, 
    "6": 7 
} 

Answer 5

あなたのデータを述べたが小さいので、私はシンプルなソリューションで行くとあなたがラインvery easilyにPythonオブジェクトをダンプすることができますpickleモジュールを、使用したいです。

次に、指定した時間間隔でオブジェクトをファイルに保存するThreadを設定します。

「ライブラリ」ソリューションではありませんが、要件を理解していれば、実際には必要ないほど簡単です。

EDIT：書き込み自体の間に問題が発生した場合、効果的にアトミックトランザクションにするケースをカバーしたかったとお伝えしました。この場合、伝統的な方法は「ログベースの回復」を使用することです。これは基本的にログファイルに "write transaction started"と書いたレコードを書き込んだ後、完了したら "write transaction comitted"と書いています。 「開始済み」に対応する「コミット」がない場合は、ロールバックします。この場合

は、私はあなたがSQLiteのような単純なデータベースを持つ方が良いかもしれないことに同意します。それは少し過度のかもしれませんが、一方で、あなた自身の原子性を実装することは、ホイールを少し改革するかもしれません（そして私はあなたのためにそれを行う明白なライブラリを見つけませんでした）。

あなたは狡猾な道を行くことに決めるならば、このトピックはセクション「アトミック・トランザクション」の下で、Silberschatzのオペレーティングシステムブックのプロセス同期の章に覆われています。 1が破損した場合、あなたが歴史を持つように

（多分「トランザクション完璧」ではないが）非常に単純な代替手段は、単に新しいファイルにすべての時間を記録することです。各ファイルにチェックサムを追加して、ファイルが壊れているかどうかを自動的に判断することもできます。