さまざまな要件を持つNokogiriを使用して異なるURLをデータベースから削る方法

Question

Feedjiraを使ってニュースフィードのコンテンツ分析を支援しようとしましたが、RSSフィードはRSSでそれらを含めるのではなく、 Feedjira not adding content and author "。 Feedjiraを使用して記事のURLを取得する予定ですが、Nokogiriを使用して記事をスクラップし、関連する部分を選び出します。

問題は、それぞれのメディアのコンセントがページのフォーマットが異なり、Nokogiriがデータベース（Feedjira提供）からURLを取得し、関連するフィードのタイトルに応じて最適な方法を知る必要があることですFeedjira syncのデータベース）は、ページを特定の方法でスクラブし、データベースの別のテーブルに保存します。誰でも何か提案がありますか？

Answer 1

あなたの特別な使用例はわかりませんが、ニュースフィードを使用したコンテンツ分析も行っています。 Readabilityには一般的なコンテンツスクレイパーがあります。

Answer 2

問題は、すべてのフィードジェネレータがHTMLジェネレータとちょっと違ったやり方で動作するということです。 RDF、RSS、またはATOMフィードの中に特定のフィールドがあると仮定できますが、フィードの作成者は非常に便利なオプションのタグを使用する可能性があるため、それらを探すコードを記述する必要があります。

私は過去にいくつかのフィードアグリゲータを書いていました。これには、毎日1000回以上のフィードを処理していたフィードアグリゲータも含まれていました。フィードの種類、ATOMとRSS、RDFを比較することで、その形式で面白かったフィールドを賢明にチェックし、データがあれば抽出することができました。

あまりにも頻繁に間違ったデータを取得したり、出力を混乱させたり、データをスキップして出力にギャップが残るようにしておくと、コードを書く準備ができます。それは正しく行われます。

あなたは最後に見たものとそれをもう一度見るはずのものを追跡するために、バッキングデータベースを利用したいと思うでしょう。それは良いネットワーク市民であることの一部です。最後にn回フィードがダウンしたかどうかを追跡して、死んだサイトを削除することもできます。