PandasはSQLよりもCSVを読み込む方が速い

Question

CSVからのデータ読み込みは、PandasのSQL（Postgre SQL）より高速です。 （私はSSDを有する）ここ

は私のテストコードである：

import pandas as pd 
import numpy as np 

start = time.time() 
df = pd.read_csv('foo.csv') 
df *= 3 
duration = time.time() - start 
print('{0}s'.format(duration)) 

engine = create_engine('postgresql://user:password@host:port/schema') 
start = time.time() 
df = pd.read_sql_query("select * from mytable", engine) 
df *= 3 
duration = time.time() - start 
print('{0}s'.format(duration)) 

foo.csvとデータベースの両方のデータと同じ列（同量、4列、完全な100 000行ですランダムintの）。

CSVは0.05s

SQLは0.5秒

を取る取るあなたはそれがCSVは10時間速くSQLよりであることを普通のことだと思いますか？私はここで何かが欠けていた場合、私はcsvファイルを読むことは常に単にデータ

CSVは非常にナイーブで簡単ですをロードする最も簡単な方法の一つであり、これは正常な動作です...

Answer 1

を思ったんだけど。それから直接ロードするのは非常に簡単です。複雑な構造の大規模なデータベースの場合、CSVはオプションではありません。 SQLは、テーブルからデータを選択してそのデータを返す超高速です。もちろん、データを選択、変更、操作することができれば、オーバヘッド時間のコストがかかります。

csvで1920年から2017年までのcsvに時系列がありますが、2010年から今日までのデータのみが必要であるとします。 SQLセレクト機能を経由して年を事前に選択することであろう

CSVアプローチは、全体のCSVが、その後2017年

SQLアプローチに年間2010を選択読み込むことであろう

このシナリオでは、SQLは非常に高速になります。

Answer 2

それはあなたが同じことのためにそれらを使用することができていても、CSVは、SQLよりもはるかに高速であることを完全に正常だが、それらは同じもののためのものではありません。

1. CSVは、シーケンシャルアクセスのためでありますつまり、ファイルの先頭から開始し、必要に応じて各行を順番に読み取って処理します。

2. SQLは索引アクセス用です。つまり、索引を参照して、探している行に移動します。フル・テーブル・スキャンを実行することもできます。つまり、インデックスを使用しないでください。これにより、テーブルが本質的に膨大なCSVになります。

クエリは完全なテーブルスキャンであり、インデックスを参照しません。すべてのデータに適用されるため、正常です。あなたは

select * from mytable where myindex = "myvalue"; 

のようなクエリを試す場合は、CSV内の同じ行の検索に比べて大きな後押しを得ることができます一方

、。それはSQLのインデックスのためです