Perlで非常に高速に検索：ハッシュ値を再ロードすることは可能ですか？

Question

私は、次のような約100万行あります

A : value of A 
B : value of B 
| 
| 
| 
Z : value of Z upto 100 million unique entries 

現在、私は私のプログラムを実行するたびに、私はいくつかの時間がかかるハッシュとしてファイル全体をロードします。実行時に私は一度ハッシュを作成し、バイナリデータ構造やインデックスファイルとして保存することができます場合、私は疑問に思って

などA、Bを知っている与えられたA、Bの値にアクセスする必要があります。最低限のプログラミングで可能なことは何であろうか。

ありがとうございます！ -Abhi

Answer 1

はStorableを見てください - それはあなたがやりたいこと、使用が非常に簡単である必要があります：あなたのプログラムは、実際にはもちろん、CPUの速度によって制限されている場合

use Storable; 
store \%table, 'file'; 
$hashref = retrieve('file'); 

にのみ役立ちます。データ構造は非常にシンプルなので、ディスクから読み取るよりも速く解析することができます。この場合、Storableはあなたを大いに助けません。

Answer 2

私は、ディスク上のキー/値データベースを示唆しています。 Perlのtie functionのために、彼らは通常、メモリ内のハッシュと同一に使用することができます。あなたのハッシュが非常に大きい場合、Perlのハッシュよりも読み込み/書き込みの方が速く、ディスクへの保存/読み込みを自動的にサポートします。

BerkeleyDBは古いのお気に入りです：データベースへ

use BerkeleyDB; 
# Make %db an on-disk database stored in database.dbm. Create file if needed 
tie my %db, 'BerkeleyDB::Hash', -Filename => "database.dbm", -Flags => DB_CREATE 
    or die "Couldn't tie database: $BerkeleyDB::Error"; 

$db{foo} = 1;   # get value 
print $db{foo}, "\n"; # set value 
for my $key (keys %db) { 
    print "$key -> $db{$key}\n"; # iterate values 
} 

%db =(); # wipe 

変更は自動的にディスクに保存され、スクリプトの複数の呼び出しを通じて持続します。

オプションについてはperldocをチェックしますが、最も重要なのは、次のとおりです。

# Increase memory allocation for database (increases performance), e.g. 640 MB 
tie my %db, 'BerkeleyDB::Hash', -Filename => $filename, -CacheSize => 640*1024*1024; 

# Open database in readonly mode 
tie my %db, 'BerkeleyDB::Hash', -Filename => $filename, -Flags => DB_RDONLY; 

これは結局Perlのである（より複雑ですが、はるかに高速データベースライブラリがTokyo Cabinetだろう、と他の多くのオプションがもちろんあります。 ..）

Answer 3

私はTie::Fileをコアに含めておき、データ構造全体をメモリに読み込まず、必要に応じてディスクから必要に応じてアクセスすることをお勧めします。