manifoldcf

1熱

1答えて

ファイルシステムとインデックスをクロールするのに最適な方法

私は10TBを超えるデータをクロールしてインデックスを作成する必要があるプロジェクトに取り組んでいます。時間のかかるインクリメンタルクロールを実装する必要があります。 私の質問は次のとおりです： これはJavaとともに、すべての大きな組織が使用している最適なツールですか？ 私はSolrとManifold CFを使って試していましたが、マニフォールドはインターネット上の資料がほとんどありません。 オ

java solr manifoldcf 2017-12-01

---

18熱

1答えて

ManifoldCFまたはnutchを使用してSAML認証を持つWebサイトをクロールするにはどうすればよいですか？

私はウェブサイトをクロールしようとしています。具体的には、ManifoldCFにSAML認証を持ち、クロールしたデータをApache SolrにインデックスするGoogle Siteを使用しています。しかし、URLをクロールすると、ログインページに302リダイレクトが表示され、RESPONSECODENOTINDEXABLEと表示されます。 正しく認証されているかどうかわかりません。 manifo

solr saml nutch full-text-indexing manifoldcf 2016-08-08

---