私は大規模なデータベースをフィルタリングする必要がありますPythonとSQLを使用して2億エントリ

Question

データはbytea形式で、どのように私は最初の4バイトでクエリする必要がありますバイト列にインデックスがpostgresqlデータベースを照会します。私は試しました

SELECT * FROM table WHERE addr LIKE '%8ac5c320____' 

しかし、それは見つけるには時間がかかります。助言がありますか？私は文字列全体を照会すると高速に動作しますが、約20億のエントリがあり、ワイルドカードを使用することはできません。

Answer 1

最初の4バイトに基づいて一致を得るには、次のクエリをお勧めします。

SELECT * FROM table WHERE substring(addr from 0 for 5) = '\x8ac5c320'::bytea; 

部分文字列のドキュメントはthe bytea functions pageにありますが、これはごくわずかですが、

書き込まれたクエリは、テーブル全体にわたって順次スキャンを実行する可能性があります。

CREATE INDEX ON table (substring(addr from 0 for 5)); 

特にあなたが頻繁に実行する必要があるクエリのために設計されたインデックスを作成します。それを解決するには、以下のインデックスを作成します。これは機能的なインデックスです。つまり、列ではなく関数の結果を索引付けしています。

これは、あなたが望むパフォーマンスを得られるはずです。

しかし、あなたのサンプルクエリは最初の4バイトを照会するのではありません。クエリの説明よりもクエリが正しい場合、この方法は機能しません。