pandasデータフレームへの参加時のエラー

Question

最終的にMySQLデータベースに送信する大量のデータフレームを作成しようとしています。私はすべての個々のデータフレームを取って、それらの名前と日付を一意に保って一緒に参加する必要があります。私が現在持っている問題は、コードの結合部分がエラーを投げていることです。代わりにマージを試みましたが、各データフレームの名前の値は私のニーズに合っていません。代わりにパネルを使用する方法も検討しましたが、.to_sql関数はデータフレーム専用です。どんな助けもありがとう。

exchList =['A','AA','AAL','AAP','AAPL','ABBV','ABC','ABT','ACN','ADBE','ADI','ADM','ADP','ADS','ADSK','AEE','AEP'] 
main_df = pd.DataFrame() 
start = datetime.datetime(2000,1,1) 
end = datetime.date.today() 



for ticker in exchList: 
    df = web.DataReader(ticker, "yahoo",start, end) 
    df.reset_index(level=df.index.names, inplace=True) 
    if main_df.empty: 
     main_df = df 
    else: 
     main_df = main_df.join(df) 

エラーは次のとおりです。

ValueError: columns overlap but no suffix specified: Index(['Date', 'Open', 'High', 'Low', 'Close', 'Volume', 'Adj Close'], dtype='object') 

Answer 1

それを行うにはもう少しエレガントな方法があります - DataFrameにPandas.Panelにワンステップですべてのティッカーのためのデータを読み込み、その後flattenPanelこと：

In [126]: p = web.DataReader(exchList, "yahoo",start, end) 

In [129]: p.to_frame() 
Out[129]: 
         Open  High   Low  Close  Volume Adj Close 
Date  minor 
2000-01-03 A  78.749999 78.937500 67.374999 72.000003 4674300.0 46.106304 
      AAPL 104.874997 112.499998 101.687501 111.937502 133949200.0 3.625643 
      ABC  15.500000 15.750000 15.250000 15.562500 2784800.0 3.297376 
      ABT  35.249948 35.999945 34.749947 34.999948 10635000.0 9.517434 
      ADBE 67.250000 67.500000 64.250000 65.562500 7384400.0 16.274673 
      ADI  93.500000 93.875000 88.000000 90.187500 3655600.0 32.584012 
      ADM  11.999999 12.062499 11.875000 11.999999  984600.0 7.798824 
      ADP  53.499906 53.937406 51.937409 51.999911 2698800.0 28.858381 
      ADSK 34.000000 34.625000 32.125000 33.375000 2845600.0 8.052905 
      AEE  32.562500 32.625000 31.562500 32.312500  700800.0 13.102718 
...      ...   ...   ...   ...   ...   ... 
2017-02-23 ABT  45.029999 45.509998 44.849998 45.400002 9389100.0 45.400002 
      ACN 122.589996 122.709999 121.730003 122.480003 1428000.0 122.480003 
      ADBE 120.099998 120.150002 118.029999 118.830002 2381700.0 118.830002 
      ADI  82.150002 82.160004 81.029999 81.610001 2277500.0 81.610001 
      ADM  44.799999 45.270000 44.490002 45.090000 3256200.0 45.090000 
      ADP 100.790001 101.779999 100.489998 101.639999 1459300.0 101.639999 
      ADS 240.589996 243.520004 239.279999 242.419998  650800.0 242.419998 
      ADSK 86.690002 87.370003 85.919998 87.099998 1368000.0 87.099998 
      AEE  54.230000 54.270000 53.689999 54.070000 1438100.0 54.070000 
      AEP  65.550003 66.089996 65.309998 66.010002 2272900.0 66.010002 

[63153 rows x 6 columns] 

あなたもリセットすることもできますマルチインデックス：

In [130]: p.to_frame().reset_index() 
Out[130]: 
      Date minor  Open  High   Low  Close  Volume Adj Close 
0  2000-01-03  A 78.749999 78.937500 67.374999 72.000003 4674300.0 46.106304 
1  2000-01-03 AAPL 104.874997 112.499998 101.687501 111.937502 133949200.0 3.625643 
2  2000-01-03 ABC 15.500000 15.750000 15.250000 15.562500 2784800.0 3.297376 
3  2000-01-03 ABT 35.249948 35.999945 34.749947 34.999948 10635000.0 9.517434 
4  2000-01-03 ADBE 67.250000 67.500000 64.250000 65.562500 7384400.0 16.274673 
5  2000-01-03 ADI 93.500000 93.875000 88.000000 90.187500 3655600.0 32.584012 
6  2000-01-03 ADM 11.999999 12.062499 11.875000 11.999999  984600.0 7.798824 
7  2000-01-03 ADP 53.499906 53.937406 51.937409 51.999911 2698800.0 28.858381 
8  2000-01-03 ADSK 34.000000 34.625000 32.125000 33.375000 2845600.0 8.052905 
9  2000-01-03 AEE 32.562500 32.625000 31.562500 32.312500  700800.0 13.102718 
...   ... ...   ...   ...   ...   ...   ...   ... 
63143 2017-02-23 ABT 45.029999 45.509998 44.849998 45.400002 9389100.0 45.400002 
63144 2017-02-23 ACN 122.589996 122.709999 121.730003 122.480003 1428000.0 122.480003 
63145 2017-02-23 ADBE 120.099998 120.150002 118.029999 118.830002 2381700.0 118.830002 
63146 2017-02-23 ADI 82.150002 82.160004 81.029999 81.610001 2277500.0 81.610001 
63147 2017-02-23 ADM 44.799999 45.270000 44.490002 45.090000 3256200.0 45.090000 
63148 2017-02-23 ADP 100.790001 101.779999 100.489998 101.639999 1459300.0 101.639999 
63149 2017-02-23 ADS 240.589996 243.520004 239.279999 242.419998  650800.0 242.419998 
63150 2017-02-23 ADSK 86.690002 87.370003 85.919998 87.099998 1368000.0 87.099998 
63151 2017-02-23 AEE 54.230000 54.270000 53.689999 54.070000 1438100.0 54.070000 
63152 2017-02-23 AEP 65.550003 66.089996 65.309998 66.010002 2272900.0 66.010002 

[63153 rows x 8 columns] 

Answer 2

このエラーは、結合しようとしている2つのデータフレームにコラムn。 2つを正しく結合するには、完全結合方法を指定する必要があります。DataFrame.join(other, on=None, how='left', lsuffix='', rsuffix='', sort=False)

したがって、左のサフィックスまたは右のサフィックスを指定する必要があります。あなたが「B」に参加されていない場合は、2つを、参加するとき例えば

df1.columns = ['A','B'] 
df2.columns = ['B','C'] 

のために、あなたは持っていないためにデータフレーム列名のいずれかに追加するサフィックスを指定する必要があります私はあなたが一緒にテーブルを連結したいと思う入社データフレーム

See here for the join method documentation

Answer 3

に列名が重複し、それらを結合しませ。これを行うには、コードを次のように変更します。

より良い方法は、すべてのフレームのリストを作成し、最後に結合することです。

import pandas as pd 
l_dfs = list() 
for ticker in exchList: 
    df = web.DataReader(ticker, "yahoo",start, end) 
    df.reset_index(level=df.index.names, inplace=True) 
    l_dfs.append(df) 
df = pd.concate(l_dfs)