nutch

0熱

1答えて

CentOSのLinuxリリース7.3.1611にnutch 1.13とsolr-6.6.0を統合しました。シードリストに/ usr/local/apacheにある約10のURLを与えました-nutch-1.13 /のURL/seed.txt私が使用されるコマンドは /usr/local/apache-nutch-1.13/bin/crawl -i -D solr.server.url =であるt

0熱

1答えて

Nutchのクロールを開始できません

私は、Nuch 2.3 + ElasticSearch 1.4 + HBase 0.94をUbuntu 14.04にこのtutorialに続けて展開しようとしています。私が手 $NUTCH_ROOT/runtime/local/bin/nutch inject urls ：私はやってURLを注入するクロールを開始しようとすると InjectorJob: starting at 2017-10-

0熱

1答えて

Apache Hadoop 2.7.4とNutchの試行が何らかの理由で失敗しました

Apache Hadoop 2.7.4、Hbase 1.2.6、Solr 6.6.1をNutch with 2.3.1と設定しました。私のすべてのノード上のmapred-site.xmlは <property> <name>mapreduce.jobtracker.address</name> <value>master:9001</value> </property>

2熱

1答えて

Solutch Nutch Crawlerを使用したインデックス作成

Apache Nutch-1.13とsolr 6.6.0のバージョンを使用しています。 Indexer: java.io.IOException: Job failed! at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:865) at org.apache.nutch.indexer.IndexingJob

0熱

1答えて

ウィンドウでNutchを使用する

Nutchでクロールする際に問題が発生しています。私はhereからチュートリアルに従ってもエラーで： " /home/apache-nutch-2.3.1/runtime/local/bin/nutch inject urls/seed.txt -crawlId TestCrawl Failed with exit value 1. " 誰もがウィンドウに正しくNutchの使用方法を参照す

0熱

1答えて

ナッチインデクサーFileNotFoundException：データが存在しません

私は実行中です。ビン/ Nutchのを実行しているとき、私は次のエラーを取得する： Indexer: java.io.FileNotFoundException: File file:/opt/nutch/crawl/linkdb/current/linkdb-merge-1124746471/data does not exist. at org.apache.hadoop.fs.RawLoc

0熱

1答えて

Nutchを有効にするにはhttpリダイレクトに従いますか？

私のクロール中に404エラーにリダイレクトするページがありますが、 "readdb"コマンドを使用すると、404の代わりに302のステータスが表示されます。次に、設定ファイルを検索してオプション "http.redirect.max"が見つかりました。 Response response = getResponse(u, datum, false); ：私は、ソースコードを読んだ後、私は、す

0熱

2答えて

nutchからhtmlファイルをダンプする方法

私はnutchで新しいです。私はインターネットから多くのウェブサイトをクロールしました。私はセグメントのHTMLコンテンツを取得したい。その後、 ./nutch mergesegs crawl/merged crawl/segments/* と：今 ./nutch readseg -dump crawl/merged/* dumpedContent それゆえ、私は以下のコマンドでダンプされ

0熱

1答えて

Apache Nutch 2.3.1をサイドバーではなく記事コンテンツをクロールする方法を制限する方法

ニュースサイトをクロールする必要があります。私は、Hadoop 2.7.4とHbaseクラスタを使ってapache Nutch 2.3.1を設定しました。私はsolr 6.6.1経由で検索を提供する必要があります。いくつかのウェブサイトをクロールした後、私はNutchがページ内のすべてをクロールすることを観察しました。ニュースサイトでは、最新のニュースやトップニュースなどを含むサイドバーがあります

0熱

1答えて

Apache NutchでのparserJobの有用性は何ですか？

injector、generator、fetcher、dbUpdaterなどの便利なドキュメントは見つかりません。私はそれが何をするのか理解する必要があります。私はnutchを使用しています。2.2.1