私はtweepy採掘作業を行っていますが、かなりの数のつぶやきを得るのにかなり時間がかかることに気付きました。おおよその見積もりは約3-4時間で3000個のつぶやきになります - 私は2日間で100万を目指しています。同様の質問では「あなたのマシンだけ」と言われていましたが、より具体的な答えを期待していました。とにかくTwitterのマイニング速度を上げるには?
高度なサーバー接続サービスを使用するとスピードアップできますか?申し訳ありませんが、コンピュータサイエンスの背景はありません。以下は私のコードです:
from tweepy import Stream
from tweepy.streaming import StreamListener
class MyListener(StreamListener):
def on_data(self, data):
try:
with open('python2.json', 'a') as f:
f.write(data)
return True
except BaseException as e:
print(Error)
return True
def on_error(self, status):
print(status)
return True
twitter_stream = Stream(auth, MyListener())
twitter_stream.filter(track=['#happy'])
ありがとう!
"新しい"つぶやきだけが必要ですか、古いものも良いですか? – Giordano
あなたはそれを解決しましたか? – Giordano
はい、私は実際に古いツイートをもっと必要としましたが、私のストリーム機能がライブフィードしか得ていないことを認識しませんでした。私は以下のソリューションのバリエーションを実装し、優れた結果を得ています。ありがとう、トン! – Michael