mapreduce

    11

    3答えて

    Amazon Elastic MapReduceを使用して簡単なマップ/縮小タスクを試してみましたが、タスクを完了するのにわずか3分かかりました。別のタスクを実行するために同じインスタンスを再利用することは可能ですか? 私はちょうど3分のインスタンスを使用していますが、アマゾンは1 hrを請求するので、残りのいくつかのタスクを実行するために残高57分を使用します。

    1

    1答えて

    Crawled = 0の状態のCassandraに初期データ(クローラのURLリスト)をロードしています。その後、Hadoopを使用してすべてのリンクをクロールし、0から何か他のもの、たとえば1または2、または3に変更しようとします.Cassandra cliインターフェイスをチェックインすると、ColumnFamily ['www.somedomain.com']の値がクローラ列は同じままです。

    1

    2答えて

    HadoopのMapReduceジョブの作業ディレクトリ内にディレクトリを作成したいとします。 例: ファイルsetupFolder =新しいファイル(setupFolderName); setupFolder.mkdirs(); 私のマッパークラスでは、いくつかの中間ファイルを書き込むことができます。それは正しい方法ですか? また、仕事の完了後、私はそうしたいと思ったら、このディレクトリに再びど

    1

    2答えて

    でローカルファイルシステム上のマッパーの書き込みをするためにはどのようにファイルを書き込むと、m個のMapReduceコードを自分のローカルファイルシステムのディレクトリを作成したいです。また、ジョブの実行中に作業ディレクトリにディレクトリを作成した場合、クリーンアップ前にローカルファイルシステムに移動するにはどうすればよいですか。

    0

    2答えて

    次世代のApache MapReduceに関する詳細(アーキテクチャと設計ドキュメント)を知りたいと思います。それについての情報源はどこにありますか?

    5

    1答えて

    "マップ"の各ステップをコンソールで実行した後に印刷します。 のSystem.out.println( "完了ステップ1")のような 何か。 System.out.println( "完了したステップ2"); 上 などのSystem.out.printlnがまったく機能していないようとして、それを行うための特別なコマンドがありまたはそれがまったくできませんか? あなたはSystem.out.pri

    4

    3答えて

    私はpyMongo 1.11とMongoDB 1.8.2を使用しています。私はかなり複雑なMap/Reduceをやろうとしています。私はMongoの関数を試作し、作業それを得たが、私は、Pythonに転送しようとしたとき、私が取得: --------------------------------------------------------------------------- TypeEr

    0

    2答えて

    私はmap/reduceを試したことがありません。 どのようにして各動物の最も古い動物を得ることができますか? 私のデータは、このようなものです:私はノードMongoDBのネイティブ使用しています [ { "cateory": "animal", "type": "cat", "age": 4, "id": "a" }, { "cateory

    2

    2答えて

    私が構築している分析システムのバックエンドとしてMongoDBを使用したいと思います。 MongoDBを使用する主な利点の1つは、組み込みのmap reduceです。 私たちは "中規模のデータ"規模なので、Hadoopのオーバーヘッドはまだ必要ありません。テスト目的のために 私はタイプEC2ラージインスタンス上のuser_idのインデックスを持つ { user_id: xxxx, thing

    0

    1答えて

    私はcodeigniterでmongodbを使用しています。 コレクション、私はいくつかのコレクションから、MapReduceの結果を得ることができますどのように 'mtb' 'road' 'minivelo' PHP $map = new MongoCode(' function(){ .... } '); $reduce = new MongoCod