ウェブサイトを自動化する適切な方法は何ですか

Question

私が達成しようとしているのは、擦り傷やサイトのRSSフィードを使用して他のサイトからデータを取得して画像パス、ストーリーのタイトルやテキストなどを保存するサイトです私のデータベースでは、それをtechmemeやファッションのような馬鹿げたレポートに表示することができます。

これは5時間ごとに発生したいと思っています。私は非常に古いものを削除したいと思います。私はウサギをセロリと共に使用することを勧められています。今私はredisを使用するように勧められています。

新しいサークルトレーニングでyoutubeのビデオを見たことがあり、スピーカーはrabbitmqで2回言いましたが、バックエンドとして使用していませんでした。しかし、私はまた、スタックや言語のために時々偏りがあることを知っています。私は何も持っていない、私はちょうど私のプロジェクトが動作するようにしたい。

タスクを自動化して画像パス、タイトル、テキスト用のサイトをスクラップしてデータベースに保存し、後で使用するための効率的な方法を要約します。私が言ったように、私はそれが眠っている報告書やテクニックに似ていることを望みます。

Answer 1

私はredisがrabbitmqよりはるかに有用で信頼性が高いことを発見しました。 私はdjangoアプリケーションを作成して、セロリとredisを接続します。基本的な情報を保存するためのモデルのカップル：あなたが望むリンクのスクラップ、リンク、日付などのサイト

また、私はbeautiful soup,python requestsを使用することをお勧めします。たくさんのリクエストをする場合は、複数のユーザーエージェントで複数のプロキシを使用することを検討してください。