Pythonでさまざまな日付間隔のセットから最も頻繁に発生する日付間隔を調べる

Question

百万レコードの日付範囲が異なる列を持つCSVファイルがあります。たとえば、次のようなものがあります。 2004-2016; 1980-2016; 1991-2006; 2000-2012; 1998年 - 2011年

これらのすべてのレコードで最も一般的な3,5または7年の範囲を調べたい場合、これをPythonでどのようにしますか？いくつかのレコードが削除されても問題はありませんが、7年の頻度または10年間の頻度がすべての範囲で最も一般的であるかどうかを調べようとしています。助けてもらえますか？

Answer 1

• 解析ファイル。 2要素タプル：((2004, 2016), (1980-2016), ...)を取得します。
• 違いに変換：(12, 36, ...)
• Counterオブジェクトをこのsequnceで作成し、most_commonメソッドを呼び出します。

Answer 2

シーケンスを個々の範囲に分割します。結果のシーケンスdiffを呼び出すと仮定します。

from collections import Counter 

diff = ["2004-2016", "1980-2016", "1991-2006", "2000-2012", "1998 - 2011"] 

diff_frequency = Counter(map(lambda x: abs(eval(x)), diff)).most_common() 

most_common_diff = diff_frequency[0] 

Answer 3

あなたはこれを処理するためにcollections.Counterのcollections.defaultdictを使用することができます。 defaultdictは年の数でグループに日付範囲を使用し、Counterは年のその数の範囲の文字列の数を追跡します：あなたが最も一般的な範囲の文字列を知りたい場合は

from collections import defaultdict, Counter 

year_ranges = defaultdict(Counter) 

s = '2004-2016; 1980-2016; 1991-2006; 2000-2012; 1998 - 2011; 2004-2016' 
for start, end in [r.split('-') for r in s.split('; ')]: 
    start, end = int(start), int(end) 
    year_ranges[end-start].update(['{}-{}'.format(start, end)]) # update counter for normalised range string 

>>> print(year_ranges) 
defaultdict(<class 'collections.Counter'>, {36: Counter({'1980-2016': 1}), 12: Counter({'2004-2016': 1, '2000-2012': 1}), 13: Counter({'1998-2011': 1}), 15: Counter({'1991-2006': 1})}) 

年の範囲12：

>>> year_ranges[12].most_common(1) 
[('2004-2016', 2)] 

等しい年数の範囲を表す複数の範囲文字列があるケースをどのように処理するかはわかりません。