2016-10-21 17 views
1

私はクラスのソーシャルメディアセンチメント分析に取り組んでいます。私はpklファイルに保存された2ヶ月の間、ケンタッキーダービーについてのつぶやきをすべて得ました。pickleファイルからpandasデータフレームにデータを取得する方法

私の質問は、これらのピックルダンプファイルをすべてデータフレームにロードするにはどうすればいいですか?ここで

は私のコードです:

import sklearn as sk 
import pandas as pd 
import got3 

def daterange(start_date, end_date): 
for n in range(int ((end_date - start_date).days)): 
    yield start_date + timedelta(n) 

start_date = date(2016, 3, 31) 
end_date = date(2016, 6, 1) 

dates = [] 

for single_date in daterange(start_date, end_date): 
    dates.append(single_date.strftime("%Y-%m-%d")) 

for i in range(len(dates)-1): 
    this_date = dates[i] 
    tomorrow_date = dates[i+1] 
    print("Getting tweets for " + tomorrow_date) 
    tweetCriteria = got3.manager.TweetCriteria() 
    tweetCriteria.setQuerySearch("Kentucky Derby") 
    tweetCriteria.setQuerySearch("KYDerby") 
    tweetCriteria.setSince(this_date) 
    tweetCriteria.setUntil(tomorrow_date) 
    Kentucky_Derby_tweets = got3.manager.TweetManager.getTweets(tweetCriteria) 
    pkl.dump(Kentucky_Derby_tweets, open(tomorrow_date + ".pkl", "wb")) 
+0

をリストにロードし、各リストをマスターリストに追加してから、そのリストを使用して 'DataFrame' –

答えて

1

あなたはpd.read_pickle(ファイル名)を使用することができます。それをリストに追加する。次に、pd.concat(thelist)

関連する問題