NutchはローカルモードでHadoopとは独立していますか？

デプロイモードでNutchを実行すると、Hadoopに基づいて分散クロールが行われることがわかりましたが、ローカルモードで実行するタイミングを完全に理解できませんでした。この場合、NutchはHadoopから独立していますか？ MapReduceに基づいていないローカルモードでのクロールプロセスはありますか？NutchはローカルモードでHadoopとは独立していますか？

出典

2017-03-14 Ali Naaz

NutchはMapReduceをベースにしています。 HadoopライブラリはNutchの依存関係で、ローカルモードでNutchはHadoop関連のライブラリをクラスパスに置き、すべてを単一のJVMで実行します。分散モードでは、 'hadoop'コマンドが呼び出されます。

はNutch script
PSを参照してください：あなたは、単一のマシン上のNutchを使用している場合、それはあなたがMapReduceのUIがクロール+並列処理などを監視するために得るように疑似分散モードでそれを実行するために理にかなって...

出典

2017-03-14 14:54:57

[OK]を。したがって、ローカルモードでは、NutchはHadoopのMapReduceメカニズムだけを使用します。私は正しい？ –

「その他のもの」 - > HDFS？デフォルトでは使用されません。私たちはNutch 1.x BTWについて話していますか？ –

はい私は1.12で作業しています。スタンドアローンモードでHDFSを使用するには？ –

NutchはローカルモードでHadoopとは独立していますか？

答えて

関連する問題