PostgreSQLにCSVをインポート

Question

私はDjangoベースのWebアプリケーションで作業しています。

100,000行以上あるcsv-postgresqlデータベースをインポートし、Djangoアプリケーションのデータベースとして使用します。 ここでは、私は2つの問題に直面しました。私は、CSVファイルをインポートするには、PostgreSQLデータベースのフィールド名を定義する必要がありますどのように、

%oil, %gas, up/down, CAPEX/Cash-flow, D&C Cape,... 

第一： フィールド名は、このような特殊文字が含まれて？

第2回、インポート後、私はdjangoモデルでデータを取得します。次に、特殊文字を含むDjangoモデルの変数名をどのように定義できますか？

もちろん、特殊文字を含むcsvの列名を変更することはできますが、変更する必要はありません。何も変更せずに元のCSVをインポートしたい。

この問題を解決するための解決策はありますか？

Answer 1

例には特殊文字はありません。少なくとも、Pythonやデータベースの観点からは問題はありません。

まず、疑わしいフィールド名は避けてください。特に金融では避けてください。 %oilは、オイルシェア、オイルマージン、または他の何かを意味することができます。そして、あなたは@Hamboneが示唆したようにCSVからデータをインポートするcopyを使用

class FinancialPeformanceData(models.Model): 

    oil_share = models.DecimalField(max_digits=5, decimal_places=2) 
    gas_share = models.DecimalField(max_digits=5, decimal_places=2) 
    growth = models.DecimalField(max_digits=10, decimal_places=2) 
    capex_to_cf = models.DecimalField(max_digits=7, decimal_places=2) 
    ... etc. 

のように意味のある名前を持つモデルを定義します。 CSVファイルにヘッダーは必要ありません。

def import_csv(request): 

    file = './path/to/file' 
    with open(file, 'rb') as csvfile: 
      with closing(connections['database_name_from_settings'].cursor()) as cursor: 
       cursor.copy_from(
        file=csvfile, 
        table='yourapp_financialperformancedata', #<-- table name from db 
        sep='|', #<-- delimiter 
        columns=(
         'oil_share', 
         'gas_share', 
         'growth', 
         'capex_to_cf', 
         ... etc. 
        ), 
      ) 

    return HttpResponse('Done!')