collections.dequeを拡張して "ファイルバッファ"を構築できますか？

Question

私は、ファイル名（文字列）を保持するために、Pythonで循環ファイルバッファを構築したいと考えています。バッファには、次のプロパティが必要です。

• バッファのサイズは、名前がバッファに格納されているファイルのサイズの合計です。バッファには最大許容サイズが設定されます。
• 新しいファイルが追加されたときに、バッファサイズが許容最大サイズよりも小さい場合は、そのファイル名文字列が追加されます。それ以外の場合は、最も古い変更ファイルがプッシュされ、新しいファイルが追加されます。新しく追加されたファイルがバッファに既に存在するすべてのファイルより古い場合、何も起こりません。

このような目的でデキューを拡張することはできますか？

また、最初から書き込む必要がありますか？この目的のために使用できる設計アイデアはありますか？

おかげ

スレシュ

Answer 1

OK、私はあなたの質問のレイモンドヘッティンガーの解釈が正しいと信じている、とあなたのコメントは、キューの長さに関係じゃないことを明確にではなく、としていますすべてのファイルサイズの合計。それははるかに意味がある、と私は最終的にあなたが意味するものを理解してうれしいです。これを念頭に置いて、私があなたのすべての要求を満たすと信じているheapqに基づく簡単な実装をここに示します。キュー上のputティン(timestamp, filename, filesize)タプルで、それを使用して、キューからあなたgetアイテム、それは最も古いファイルになりますときに注意（最小のタイムスタンプを持つすなわちファイル。）

import heapq 

class FilenameQueue(object): 
    def __init__(self, times_sizes_names, maxsize): 
     self.maxsize = maxsize 
     self.size = sum(s for t, s, n in times_sizes_names) 
     self.files = list(times_sizes_names) 
     heapq.heapify(self.files) 
     while self.size > self.maxsize: 
      self.get() 
    def __len__(self): 
     return len(self.files) 
    def put(self, time_size_name): 
     self.size += time_size_name[1] 
     if self.size < self.maxsize: 
      heapq.heappush(self.files, time_size_name) 
     else: 
      time_size_name = heapq.heappushpop(self.files, time_size_name) 
      self.size -= time_size_name[1] 
    def get(self): 
     time_size_name = heapq.heappop(self.files) 
     self.size -= time_size_name[1] 
     return time_size_name 

私は__len__を追加しましたメソッドを使用して、キューから取得する前にキューをテストできるようにします。ここでは使用例です：

>>> f = FilenameQueue(((22, 33, 'f1'), (44, 55, 'f2'), (33, 22, 'f3')), 150) 
>>> while f: 
...  f.get() 
... 
(22, 33, 'f1') 
(33, 22, 'f3') 
(44, 55, 'f2') 
>>> f = FilenameQueue(((22, 33, 'f1'), (44, 55, 'f2'), (33, 22, 'f3')), 150) 
>>> f.put((55, 66, 'f4')) 
>>> while f: 
...  f.get() 
... 
(33, 22, 'f3') 
(44, 55, 'f2') 
(55, 66, 'f4') 

は最適ではないQueue.PriorityQueueを含む、完全に別のソリューションのための私の編集履歴を参照してください。 maxsizeは、要素を破棄するのではなく、ブロック制限によって制限を適用することを忘れていました。それほど有用ではありません！

Answer 2

質問を正しく読んでいる場合は、指定された最大サイズまでファイルのファイル名のシーケンスが必要です。新しいファイルが最大値を超えて追加された場合、最も古いファイルを忘れてしまいます。

この単純な両端キューベースのクラスはうまくそれの世話をする必要があります。

は

>>> f = FileDeque(maxsize=10000) 
>>> f.append('raptors.txt', 2500) 
>>> f.append('rexes.txt', 4200) 
>>> list(f) 
['raptors.txt', 'rexes.txt'] 
>>> f.append('stegos.txt', 5000) 
>>> list(f) 
['rexes.txt', 'stegos.txt'] 
>>> f.append('brontos.txt', 500) 
>>> list(f) 
['rexes.txt', 'stegos.txt', 'brontos.txt'] 
>>> f.append('dactyls.txt', 4000) 
>>> list(f) 
['stegos.txt', 'brontos.txt', 'dactyls.txt']