XLRDを使ったPythonのExcelファイル

Question

いくつかの研究のために、SQLiteデータベースに約35MBのデータを格納し、100k行に近いExcelファイル（xlsx）をロードしようとしています。ファイルには約40列あり、カラムを選択的にsqlite DBにロードすることができます。

私はこれを直接的なXLRDとして近づけており、Sqliteの問題が発生しています。別のモジュールを使用するなど、これを行うより良い方法はありますか？

データ量があれば、Firefox用のSQLiteマネージャープラグインはデータの一部を表示するのに適したユーティリティになりますか？

Answer 1

このような操作には、私は間違いなくpandasを使用します。多くのデータ入力用にラッパーを実装しています（Excelを含む）。これはnumpyに基づいており、データに適用する統計的方法の束を備えています。選択した列を簡単に選択し、データベースに直接格納することができます。

主なデータ構造は、データフレームと呼ばれます。

データの読み込みと保存に使用できるコードの例です。

import pandas as pd 
dataframe = pd.read_excel(YOUR_FILE) 
dataframe.to_sql(*args)