hadoop-streaming

1熱

1答えて

なぜWindows7のhadoopがRuntimeExceptionを発生させたのですか？オブジェクトの設定中にエラーが発生しました

Windows7でhadoopプログラムを疑似分散モードで実行しようとしていて、RuntimeExceptionが発生しました。私はそれを修正する理由と方法を知らない。私はhadoop-streamingユーティリティ（https://hadoop.apache.org/docs/current/hadoop-streaming/HadoopStreaming.html）を使用してjavaの代わ

0熱

1答えて

HadoopのMapReduce Streamingで分割サイズを1行に設定する方法は？

目標：各ノード、行列のコピーを持つが、行列を読み込み、マッパー（マトリックス、キー）を介して、いくつかの値を計算し、<キーを発し、値> 私は、マッパーを使用しようとしていますストリーミング経由でPythonで書かれました。レデューサーはありません。基本的に、私はタスク https://hadoop.apache.org/docs/current/hadoop-streaming/HadoopSt

0熱

1答えて

複数のマッパーの結果をHadoopのリデューサでソート

私はMRプログラムの入力として複数の非常に大きなファイル（ほぼ500MB）を持っています。これらのファイルを同じサイズのパーティションに分割（分割）します。マッパーでキー=（ファイル名、パーティション番号）とValue =（パーティションの文字ストリーム）私が値（文字列）にいくつかの計算を適用しています：それぞれのマッパーは、ファイルマッパーの単一のパーティションを取得します。入力ファイル

9熱

6答えて

HadoopでPythonを使用するための分散型機械学習ライブラリはありますか？

私は、さまざまな標準的な機械学習タスクを実行するために、Amazon Elastic MapReduceで自分自身を設定しました。私は過去にローカルマシンの学習に広範囲にPythonを使用しましたが、私はJavaを知らないのです。私が知る限り、分散型機械学習のためのPythonライブラリは開発されていません。一方、JavaはApache Mahoutであり、Clouderaのより最近のOryxで

5熱

1答えて

Hadoop設定エラー

私はhadoopアプリケーションを起動しようとしていますが、起動時にログファイルに表示されていますが、問題の原因を誰かが知っていますか？ //10.170.4.141：9000 にjava.io.IOException：org.apache.hadoop.conf.Configurationで設定（）（Configuration.java:229）組織で。HDFSのファイルシステムを作成する

6熱

2答えて

Amazon Elastic MapReduce - SIGTERM

通常は正常に動作するEMRストリーミングジョブ（Python）があります（たとえば、10台のマシンで200個の入力を処理するなど）。私が読んでいた場合 java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 143 at org.apache.hadoop.streaming.

2熱

1答えて

3つの入力ファイルが必要なPython MapReduce Hadoopストリーミングジョブ？

私はタイトル別の平均評価は性別である次のような出力を得るためにはPythonのMapReduceのHadoopストリーミングジョブを作成したい3つの小さなサンプル入力ファイル（実際のファイルがはるかに大きい）、 # File Name: books.txt # File Format: BookID|Title 1|The Hunger Games 2|To Kill a Mockingbi

0熱

2答えて

エラー：hdfsにレコードを追加するsqoop

私のシナリオ：特定の時刻にhdfsからsqoopまで毎日100レコードを取得します。しかし、昨日、特定の時間に50レコードしか得られませんでした。その特定の時間は、hdfsで50 + 100レコードをsqoopを通して取得する必要があります。私を助けてください。前もって感謝します。

1熱

1答えて

ストームUIトポロジが動作しない

LocalClusterでストームトポロジを実行しています。ストームトポロジが正常に実行され、ストームUI（8090）に接続できます。しかし、ストームUIは実行中のトポロジ情報を表示していません。 LocalCluster cluster = new LocalCluster(); など提出： bin/storm jar bin/StormTest-0.0.1-SNAPSHOT.jar c

5熱

2答えて

Elastic MapReduceにスナップ圧縮ファイルをロード

私はS3でスナップ圧縮されたサーバログを束ねています。私はElastic MapReduceでストリーミングを使ってそれらを処理する必要があります。ストリームをマッパースクリプトに送る前に圧縮解除できるように、ログがすでに圧縮されていることをAmazonやHadoopに伝えるにはどうしたらいいですか？私が見つけることができる唯一のドキュメントはhttp://docs.aws.amazon.com