nutch

0熱

1答えて

私はnutch1.10を使用しましたが、私はelasticsearchの適切なバージョンを見つけることができません。私はelasticsearch 2.4を使用しましたが、elasticsearchのログはsupport.soではありません2.1.0ですか？私は適切なバージョンは何ですか？

0熱

1答えて

ウェブクロールされたデータからブタスクリプトを使用して特定のデータを抽出する方法（Nutch）

このサンプルはnutch 2.3.1を使用してクロールデータを取得します。私は豚へのHBaseからデータをインポートするには、このコマンドを使用 `data9 = load 'hbase://htest15_webpage' using org.apache.pig.backend.hadoop.hbase.HBaseStorage('f:cnt', '-loadKey true'); `

1熱

2答えて

Nutchがseed.txtで指定されたURL以外のURLをクロールしない

私はApache Nutch 1.12を使用しています。私がクロールしようとしているURLは、seed.txtファイル内の唯一のエントリですhttps://www.mywebsite.com/abc-def/です。私が実行しようとすると +^https://www.mywebsite.com/abc-def/(.+)*$ ：私は、どのページが私は正規表現-urlfilter.txtに次の行を入

-1熱

1答えて

はNutch 2.3.1とsolr 6.4.1を統合します。インデックス作成ジョブでは何か問題があります

最近NutchとSolrの設定が完了したらNutchを学びます。 NutchとクロールしてSolrにインデックスを作成したいと思っています。ジョブを索引付けするときに何らかのエラーが発生します。以下のエラーが表示されます。 SolrIndexerJob: org.apache.solr.client.solrj.impl.HttpSolrServer$RemoteSolrException:

0熱

1答えて

どのように実行するか$ ./nutchはクロール/クロールURLを挿入する

私はNutchを新しくしていて、ウェブサイトをクロールしたい。私はNutch 1.12を使用しています。私は盲目的に上記の手順に従いました。here 私はapache-nutch-1.12-bin.zipをダウンロードして解凍しました。 cygwinを使用して私は最初のウェブサイトをクロールしようとしています。私はちょうど上記のページのステップに従った。私はURLと呼ばれるディレクトリを作成しま

0熱

1答えて

Nutch注入を使用してコンテンツをウェブURLにインデクシング

私は再帰的にウェブサイトをクロールし、すべてのリンク/サブリンク、すなわちit.Nowで言及されたURLを収集していた、それはすべてのhtmlコンテンツをelasticsearchにダンプしたかった。私はNutchのtutorialを通過し、そうするために道の下にいた。私が持っていたurls.txtでは、 $ ./nutch inject seed/urls.txt Usage: In

0熱

1答えて

Nutch 2.3.1ドメイン名を持たない内部リンクをクロールしない

多くのウェブサイトを一度にクロールするためにnutchが用意されていますが、href = "ドメイン名のないリンク" Nutchのは、これらのURLを見抜くことができなかった、以下のはNutchのサイト conf/regex-urlfilter.txt # skip file: ftp: and mailto: urls -^(file|ftp|mailto): # skip image

0熱

1答えて

NutchはローカルモードでHadoopとは独立していますか？

デプロイモードでNutchを実行すると、Hadoopに基づいて分散クロールが行われることがわかりましたが、ローカルモードで実行するタイミングを完全に理解できませんでした。この場合、NutchはHadoopから独立していますか？ MapReduceに基づいていないローカルモードでのクロールプロセスはありますか？

0熱

1答えて

WARCファイルにNutch 2.3のデータをダンプする方法は？

Nutch 2.3からWARCファイルにデータをダンプする必要があります。しかし、私は必要なモジュールを見つけることができませんでした。 Nutch 1.xにはこの機能がありました。私はそれを行う適切な方法を知りたいです。