mapreduce

0熱

2答えて

ユーザからの入力を取得し、作成したマッパークラスに渡そうとしていますが、ユーザが入力した実際の値を使用する代わりに常に値がゼロに初期化されます。変数を取得するたびに常に同じ値を保持するようにするにはどうすればよいですか。私はjob1.setMapperClass（Parallel_for.class）に気付きました。クラスのインスタンスを作成し、変数を強制的に元の値に再初期化します。以下は2つの

1熱

1答えて

CouchAppビューでmap.jsに引数を渡す

私はソーシャルネットワークのように機能するCouchAppを持っています。私はユーザがクリックすると、フィールドpost_id（好きな投稿のID）、user_id（投稿が好きなユーザのID）、およびタイプのCouchDB JSONドキュメントを作成して保存するようなボタンを持っています（値は "like"で、ドキュメントが類似していることを示します）。投稿と並んで、受信したお気に入りの数を示した

0熱

2答えて

Hadoop MapReduceジョブで外部参照テーブルまたはデータベースを使用できるようにするにはどうすればよいですか？

入力ファイルが.txt形式のHadoop MapReduceジョブで大量のファイルを分析しています。私のマッパーと私の減速機はPythonで書かれています。しかし、私のマッパーモジュールは、外部のCSVファイルの内容にアクセスする必要があります。これは、マッパーが実行している変換の参照値を参照するための基本的なテーブルです。これまでは、ファイルをローカルディレクトリからメモリにロードしてPyt

0熱

3答えて

は

ストリーミングのHadoopでJavaクラスファイルを実行することはできません： java.io.IOException: Cannot run program "MapperTst.class": java.io.IOException: error=2, No such file or directory 私はターミナルで以下のコマンドを実行しました： [email protected]:/u

0熱

2答えて

標準入力ストリームからHadoopを読み取る

MapReduceプログラムで標準入力ストリーム（System.in）から読み取るようにしたい例えばrun（）メソッドでは、プログラムをaからSystem.inから読み込むにはどうすればよいですか？このようなファイル..FileInputFormat.addInputPath（job、new Path（ "dummy.txt"））; はまた、私は、私はHadoopの中で、このようなInputFo

3熱

2答えて

Celery for Map-Reduce、またはPythonの他の選択肢？

私はmap-and-reduceモデル（長い話を要約すると、時間のかかるアルゴリズムによって以前に計算された数百のランキングを集約することです）の下で実行するのに非常に適した高価なジョブを持っています。クラスタ上でジョブを並列化する（マルチプロセッシングではなく）ために、CeleryとDiscoの2つの実装に焦点を当てました。 Celeryは単純なマップ・アンド・リダクションをサポートしておらず

10熱

1答えて

Streaming or Custom Jar in Hadoop

私はHadoop（AmazonのEMR）でストリーミングジョブを実行しています。マッパーとレデューサーはPythonで書かれています。私はJavaで同じマッパーとレデューサーを実装する（またはPigを使用する）場合、私が経験する速度の向上について知りたい。特に、ストリーミングからカスタムjarデプロイメントおよび/またはPigに移行する際の人々の経験と、これらのオプションのベンチマーク比較を含む

2熱

1答えて

Jarファイルから.datファイルにアクセス

JARファイル内にあるパブリッククラスからデータファイルにアクセスしようとしています。しかし、Hadoopクラスター上でjarファイルを実行すると、システムはFileNotFoundExceptionをスローします。一番下の行はです。クラスタ上でアプリケーションを実行しているときにJar内のリソースにアクセスすることは可能ですか？また、リソースをHDFSに個別にコピーする必要がありますか？上記のい

4熱

2答えて

シングルノードクラスタでHadoopのサンプルを実行する際にエラーが発生しました

hadoopが提供する単語数のサンプルを実行しています。私のインストールに関する -bash-4.1$ ./hadoop jar /home/chanders/Hadoop/bin/hadoop-examples-0.20.203.0.jar wordcount /usr/temp_hadoop /usr/output Warning: Maximum heap size rounded up

2熱

1答えて

NFS上のHadoopクラスタ

NFSを使用して同じマシン上の5台のマシンにhadoopクラスタをセットアップしようとしています。私が直面している問題は、あるマシンのhadoopのコピーがすべてのマシンに複製されているため、各スレーブに対して排他的なプロパティを提供できないということです。このため、私は "ロックを作成できません"という種類のエラーが発生します。 FAQは、NFSを使用すべきではないことを示唆していますが、私は他