mapreduce

11熱

3答えて

Amazon Elastic MapReduceを使用して簡単なマップ/縮小タスクを試してみましたが、タスクを完了するのにわずか3分かかりました。別のタスクを実行するために同じインスタンスを再利用することは可能ですか？私はちょうど3分のインスタンスを使用していますが、アマゾンは1 hrを請求するので、残りのいくつかのタスクを実行するために残高57分を使用します。

1熱

1答えて

なぜ突然変異は既存の列に挿入を行いません

Crawled = 0の状態のCassandraに初期データ（クローラのURLリスト）をロードしています。その後、Hadoopを使用してすべてのリンクをクロールし、0から何か他のもの、たとえば1または2、または3に変更しようとします.Cassandra cliインターフェイスをチェックインすると、ColumnFamily ['www.somedomain.com']の値がクローラ列は同じままです。

1熱

2答えて

Hadoopでディレクトリを作成して読み込む方法 - Mapreduceジョブの作業ディレクトリ

HadoopのMapReduceジョブの作業ディレクトリ内にディレクトリを作成したいとします。例：ファイルsetupFolder =新しいファイル（setupFolderName）; setupFolder.mkdirs（）; 私のマッパークラスでは、いくつかの中間ファイルを書き込むことができます。それは正しい方法ですか？また、仕事の完了後、私はそうしたいと思ったら、このディレクトリに再びど

1熱

2答えて

は、Hadoopの

でローカルファイルシステム上のマッパーの書き込みをするためにはどのようにファイルを書き込むと、m個のMapReduceコードを自分のローカルファイルシステムのディレクトリを作成したいです。また、ジョブの実行中に作業ディレクトリにディレクトリを作成した場合、クリーンアップ前にローカルファイルシステムに移動するにはどうすればよいですか。

0熱

2答えて

次世代MapReduceのアーキテクチャと設計ドキュメント

次世代のApache MapReduceに関する詳細（アーキテクチャと設計ドキュメント）を知りたいと思います。それについての情報源はどこにありますか？

5熱

1答えて

ハイドープでMapReduceジョブを実行しているときにコンソールで印刷する方法

"マップ"の各ステップをコンソールで実行した後に印刷します。のSystem.out.println（ "完了ステップ1"）のような何か。 System.out.println（ "完了したステップ2"）; 上などのSystem.out.printlnがまったく機能していないようとして、それを行うための特別なコマンドがありまたはそれがまったくできませんか？あなたはSystem.out.pri

4熱

3答えて

'Collection'オブジェクトは呼び出し可能ではありません。そのようなメソッドが存在しないので、 'Collection'オブジェクトの 'mapReduce'メソッドを呼び出すつもりだったら、それは失敗します。

私はpyMongo 1.11とMongoDB 1.8.2を使用しています。私はかなり複雑なMap/Reduceをやろうとしています。私はMongoの関数を試作し、作業それを得たが、私は、Pythonに転送しようとしたとき、私が取得： --------------------------------------------------------------------------- TypeEr

0熱

2答えて

mongodb動物の中で最も古いものを取得map/reduce

私はmap/reduceを試したことがありません。どのようにして各動物の最も古い動物を得ることができますか？私のデータは、このようなものです：私はノードMongoDBのネイティブ使用しています [ { "cateory": "animal", "type": "cat", "age": 4, "id": "a" }, { "cateory

2熱

2答えて

MongoDB map-reduceが遅くなり、メモリ不足になる

私が構築している分析システムのバックエンドとしてMongoDBを使用したいと思います。 MongoDBを使用する主な利点の1つは、組み込みのmap reduceです。私たちは "中規模のデータ"規模なので、Hadoopのオーバーヘッドはまだ必要ありません。テスト目的のために私はタイプEC2ラージインスタンス上のuser_idのインデックスを持つ { user_id: xxxx, thing

0熱

1答えて

MongoDB MapReduceの問題、codeigniterで

私はcodeigniterでmongodbを使用しています。コレクション、私はいくつかのコレクションから、MapReduceの結果を得ることができますどのように 'mtb' 'road' 'minivelo' PHP $map = new MongoCode(' function(){ .... } '); $reduce = new MongoCod