hadoop

0熱

1答えて

Hadoopのような分散コンピューティングを使用してJpeg2000に画像を符号化する

Hadoopを使用して大きな画像をJPEG2000形式にエンコード/ また、画像を処理するのにmap reduceを使用するhttp://code.google.com/p/matsu-project/もあります。画像サイズは1TB +程度であり、単一のマシン上でそれがどのように大きな画像のあなたが話している100Hour +

8熱

8答えて

Hadoop Streaming - ファイルエラーを見つけることができません

私はhadoop-streaming pythonジョブを実行しようとしています。 bin/hadoop jar contrib/streaming/hadoop-0.20.1-streaming.jar -D stream.non.zero.exit.is.failure=true -input /ixml -output /oxml -mapper scripts/mapper.py

1熱

2答えて

Apache Hadoop：「時変」入力を行うことはできますか？

私は少しのグーグルの後でもこれに対する答えを見つけられませんでした。私の入力ファイルは、ファイルが1GBに触れたときにそれらをチャンクするプロセスによって生成されます。さて、dfsの入力ディレクトリを処理するmapreduceジョブを実行する場合、hadoopジョブの実行中にこのジョブが同じ入力ディレクトリに追加されたファイルを確実にピックアップするようにするにはどうすればよいですか？ hadoo

6熱

1答えて

HBaseからのHadoop mapreduceストリーミング

HBase（0.20.1）をデータソースとデータシンクとして使用するHadoop（0.20.1）のmapreduceジョブを構築しています。私はPythonでジョブを書きたいと思っています。私はhadoop-0.20.1-streaming.jarを使用してPythonスクリプトとの間でデータをストリームする必要があります。これは、データソース/シンクがHDFSファイルであれば問題ありません。 H

5熱

2答えて

CloudStoreとHDFS

CloudStoreとHDFSの両方で作業することに慣れている人はいませんか。私は、CloudStoreがどのくらいスケールされていて、どれが生産でどれくらい使われているかを知りたいと思っています。 CloudStoreはHDFSよりフル機能を備えているようです。これらの2つのファイルシステムについて考えてみると、実際のトレードオフは何ですか？

8熱

3答えて

現在実行中のHadoopタスクのタスク試行IDを取得

HadoopチュートリアルのTask Side-Effect Filesセクションには、タスクの "試行権"を一意の名前として使用すると記載されています。マッパーやレデューサーでこの試行IDを取得するにはどうすればよいですか？

5熱

2答えて

2n + 1クォーラムは何を意味しますか？

私はHBaseのZookeeper設定について説明してきましたが、私はこの用語になじみがありません。「N」はHBaseクラスタのノード数と関係がありますか？または私のZookeeperクラスタで使用すべきノードの数？

3熱

2答えて

Hadoop Spillの失敗

現在、Hadoop 0.21.0,985326と6つのワーカーノードとヘッドノードのクラスタを使用しているプロジェクトに取り組んでいます。通常のmapreduceジョブの送信は失敗しますが、なぜかわかりません。誰もこの例外を以前見たことがありますか？ org.apache.hadoop.mapred.Child: Exception running child : java.io.IOExcep

2熱

1答えて

携帯端末でmapreduceを実行中

Googleのネクサスでmapreduceを正常に実行したことがあると聞いたことがあります。アンドロイド上で完全にクラスタ化されたmapreduceを実行するパフォーマンスに関する情報はありません。私は実際にマップされていないデータをクラスタ化されていない比較的少量のデータで自分の携帯電話で実行したいのですが、それは本当にハープを使う価値がありますか？削除されたバージョンはどこにでもありますか？

6熱

3答えて

DBに保存する100万文 - 関連性の低い英語の単語を削除する

感情から肯定的/否定的な単語を抽出してNaive Bayes分類子を訓練しようとしています。例：私は:)この映画を愛する）雨が降るとき、私は嫌い:( アイデアは、私が使用しemoctionsに基づいて正または負の文章を抽出しているが、分類器を訓練するために、問題は100万以上の文があるので、単語ごとに訓練すれば、データベースはトスになります。関連性の低い単語の例をすべて削除したい'私'、 '