非構造化エクセルファイルをデータベースにインポート

Question

エクセルファイルからデータをデータベースにインポートする必要があります。 これらのファイルの構造はモデルの構造と一致しないので、私はそれに応じてタプルを整理するために何らかのデータ操作を行う必要があると思います。

私はこのような外観をインポートする必要があり、ファイル：

ジャンゴ・モデルは、次の属性があります。国、コモディティ、年、バリュー

だから何が読むための最良の方法だろうデータを正しい構造に配置し、データベースにインポートします（既存のタプルの自動更新が望ましい）。

この要件（PyExcel、Pandas、Django-Excel、Django-Import-Exportなど）のために、既存のPythonライブラリとDjangoライブラリを調べるのに多くの時間を費やしましたが、実際にはインポートする前にデータの並べ替えをサポートしているかどうかを確認します。

私はあなたが私にこのタスクのためのいくつかの提案とソリューションを与えることができます:)

Answer 1

さて、物事のカップルを願っています。私はそれらの専門家ではないことに注意してください。

まず、データがExcelファイルの場合、そのデータは構造化されています。テーブルの性質は、データを構造化することです。非構造化データは、テキストファイルやテキストファイルのディレクトリのようなものです。

第二に、これを読んで、質問を処方する場合、それに従ってください。https://stackoverflow.com/help/mcve

第三に、SOあなたのためのすべてのコードを書くためにここではありません。あなたの質問によれば、あなたはまだ何かを試していません。あなたの質問が落ちた理由です。

これはあくまでも、Pythonのpandasライブラリを使用してExcelファイルをインポートし、操作し、SQLデータベースにアップロードすることができます。

import pandas as pd 

df = pd.read_excel('tmp.xlsx') 
df2 = pd.melt(df, id_vars = ['Country', 'Commodity'], var_name = 'Year', value_name = 'Value') 
df2 

入力：

Country Commodity 2009 2010 2011 2012 2013 
0 Austria Com. 1  1  1  1  1  1 
1 Austria Com. 2  2  2  2  2  2 
2 Belgium Com. 1  3  3  3  3  3 
3 France Com. 1  4  4  4  4  4 

出力：

Country Commodity Year Value 
0 Austria Com. 1 2009  1 
1 Austria Com. 2 2009  2 
2 Belgium Com. 1 2009  3 
3 France Com. 1 2009  4 
4 Austria Com. 1 2010  1 

あなたは多くのExcelファイルを持っている場合は、あなたを介して反復する/ディレクトリ上globまたはos.walkを使用し、一部またはをインポートすることができますすべてのExcelファイル

パンダDataFrame.to_sqlを使用して、データベース接続（サーバアドレス、ログイン/ pwなど）の定義が必要なSQLデータベースにデータをアップロードできます。