Hadoopクラスタ：奴隷で唯一のマスタマシン上のHadoopストリーミングマップタスクの実行ではない

私は3台のマシンのHadoopクラスタを持っている：Hadoopクラスタ：奴隷で唯一のマスタマシン上のHadoopストリーミングマップタスクの実行ではない

1台のマスター（のResourceManager、名前ノード、SecondaryNameNode）
そして、2つのスレーブ（データノード、ノードマネージャ）

私はHadoopのストリーミングと交流++プログラムを実行する：

は、入力にHDFSの下に保存された動画の名前を含むテキストファイルを、受け入れ

INPUT.TXT：
```
video0001.avi 

Video0002.avi 
```
...
（キーなど）各ラインを読んだ後mapperによってhdfsから名前が入力されたビデオをコピーしてスレーブマシンに保存し、ビデオでopencvとffmpegを実行してからビデオ2に切り替える必要があります。同じことをするには
マッパーリターンビデオの名前をキーとし、一部のp値として、ビデオのarameters
私は、クラスタの設定が良いですが、私は、単一ノード上でプログラムを実行すると、それはうまく動作します
にファイルをコピーすることができ、すべてのクラスタマシン
上のプログラムがありますが、私それが正常に動作しますが、私は3台のマシンのクラスタ上で実行したときに、それが唯一の奴隷
私は、マスタマシン上でこのコマンドを実行を使用せずに、マスター上で動作し、単一ノード上でプログラムを実行します：

のHadoop jarファイルは/ usr /local/lib/hadoop-2.7.3/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar -input/user/root/input -oあなたのログによると、署名-file署名

• 12/20 02:43:51 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id 
• 16/12/20 02:43:51 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId= 
• 16/12/20 02:43:51 INFO jvm.JvmMetrics: Cannot initialize JVM Metrics with processName=JobTracker, sessionId= - already initialized 
• 16/12/20 02:43:52 INFO mapred.FileInputFormat: Total input paths to process : 1 
• 16/12/20 02:43:52 INFO mapreduce.JobSubmitter: number of splits:1 
• 16/12/20 02:43:53 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_local815523916_0001 
• 16/12/20 02:43:54 INFO mapred.LocalDistributedCacheManager: Localized file:/home/master/Desktop/Extract_signature/Prog/signature as file:/app/hadoop/tmp/mapred/local/1482230633565/signature 
• 16/12/20 02:43:54 INFO mapreduce.Job: The url to track the job: http://localhost:8080/ 
• 16/12/20 02:43:54 INFO mapreduce.Job: Running job: job_local815523916_0001 
• 16/12/20 02:43:54 INFO mapred.LocalJobRunner: OutputCommitter set in config null 
• 16/12/20 02:43:54 INFO mapred.LocalJobRunner: OutputCommitter is org.apache.hadoop.mapred.FileOutputCommitter 
• 16/12/20 02:43:54 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 1 
• 16/12/20 02:43:55 INFO mapred.LocalJobRunner: Waiting for map tasks 
• 16/12/20 02:43:55 INFO mapred.LocalJobRunner: Starting task: attempt_local815523916_0001_m_000000_0 
• 16/12/20 02:43:55 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 1 
• 16/12/20 02:43:55 INFO mapred.Task: Using ResourceCalculatorProcessTree : [ ] 
• 16/12/20 02:43:55 INFO mapred.MapTask: Processing split: hdfs://Hadoop:54310/user/root/input/input.txt:0+33 
• 16/12/20 02:43:55 INFO mapred.MapTask: numReduceTasks: 1 
• 16/12/20 02:43:55 INFO mapreduce.Job: Job job_local815523916_0001 running in uber mode : false 
• 16/12/20 02:43:55 INFO mapreduce.Job: map 0% reduce 0% 
• 16/12/20 02:44:48 INFO mapred.LocalJobRunner: hdfs://Hadoop:54310/user/root/input/input.txt:0+33 > map 
• 16/12/20 02:44:48 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer 
• 16/12/20 02:44:48 INFO streaming.PipeMapRed: PipeMapRed exec [/home/master/Desktop/Extract_signature/Prog/./signature] 
• 16/12/20 02:44:48 INFO Configuration.deprecation: mapred.work.output.dir is deprecated. Instead, use mapreduce.task.output.dir 
• 16/12/20 02:44:48 INFO Configuration.deprecation: map.input.start is deprecated. Instead, use mapreduce.map.input.start 
• 16/12/20 02:44:48 INFO Configuration.deprecation: mapred.task.is.map is deprecated. Instead, use mapreduce.task.ismap 
• 16/12/20 02:44:48 INFO Configuration.deprecation: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id 
• 16/12/20 02:44:48 INFO Configuration.deprecation: mapred.tip.id is deprecated. Instead, use mapreduce.task.id 
• 16/12/20 02:44:48 INFO Configuration.deprecation: mapred.local.dir is deprecated. Instead, use mapreduce.cluster.local.dir 
• 16/12/20 02:44:48 INFO Configuration.deprecation: map.input.file is deprecated. Instead, use mapreduce.map.input.file 
• 16/12/20 02:44:48 INFO Configuration.deprecation: mapred.skip.on is deprecated. Instead, use mapreduce.job.skiprecords 
• 16/12/20 02:44:48 INFO Configuration.deprecation: map.input.length is deprecated. Instead, use mapreduce.map.input.length 
• 16/12/20 02:44:48 INFO Configuration.deprecation: mapred.job.id is deprecated. Instead, use mapreduce.job.id 
• 16/12/20 02:44:48 INFO Configuration.deprecation: user.name is deprecated. Instead, use mapreduce.job.user.name 
• 16/12/20 02:44:48 INFO Configuration.deprecation: mapred.task.partition is deprecated. Instead, use mapreduce.task.partition 
• 16/12/20 02:44:49 INFO streaming.PipeMapRed: R/W/S=1/0/0 in:1=1/1 [rec/s] out:0=0/1 [rec/s] 

• 16/12/20 02:44:54 INFO mapred.LocalJobRunner: hdfs://Hadoop:54310/user/root/input/input.txt:0+33 > map 
• 16/12/20 02:44:54 INFO mapreduce.Job: map 67% reduce 0% 

• There were 11 warnings (use warnings() to see them) 
• 16/12/20 02:47:48 INFO streaming.PipeMapRed: Records R/W=2/2 
• 16/12/20 02:47:48 INFO streaming.PipeMapRed: MRErrorThread done 
• 16/12/20 02:47:48 INFO streaming.PipeMapRed: mapRedFinished 
• 16/12/20 02:47:48 INFO mapred.LocalJobRunner: Records R/W=2/1 > map 
• 16/12/20 02:47:48 INFO mapred.MapTask: Starting flush of map output 
• 16/12/20 02:47:48 INFO mapred.MapTask: Spilling map output 
• 16/12/20 02:47:48 INFO mapred.MapTask: bufstart = 0; bufend = 40; bufvoid = 104857600 
• 16/12/20 02:47:48 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 26214392(104857568); length = 5/6553600 
• 16/12/20 02:47:48 INFO mapred.MapTask: Finished spill 0 
• 16/12/20 02:47:48 INFO mapred.Task: Task:attempt_local1256877917_0001_m_000000_0 is done. And is in the process of committing 
• 16/12/20 02:47:48 INFO mapred.LocalJobRunner: Records R/W=2/2 
• 16/12/20 02:47:48 INFO mapred.Task: Task 'attempt_local1256877917_0001_m_000000_0' done. 
• 16/12/20 02:47:48 INFO mapred.LocalJobRunner: Finishing task: attempt_local1256877917_0001_m_000000_0 
• 16/12/20 02:47:48 INFO mapred.LocalJobRunner: map task executor complete. 
• 16/12/20 02:47:48 INFO mapred.LocalJobRunner: Waiting for reduce tasks 
• 16/12/20 02:47:48 INFO mapred.LocalJobRunner: Starting task: attempt_local1256877917_0001_r_000000_0 
• 16/12/20 02:47:48 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 1 
• 16/12/20 02:47:48 INFO mapred.Task: Using ResourceCalculatorProcessTree : [ ] 
• 16/12/20 02:47:49 INFO mapred.ReduceTask: Using ShuffleConsumerPlugin: [email protected] 
• 16/12/20 02:47:49 INFO reduce.MergeManagerImpl: MergerManager: memoryLimit=363285696, maxSingleShuffleLimit=90821424, mergeThreshold=239768576, ioSortFactor=10, memToMemMergeOutputsThreshold=10 
• 16/12/20 02:47:49 INFO reduce.EventFetcher: attempt_local1256877917_0001_r_000000_0 Thread started: EventFetcher for fetching Map Completion Events 
• 16/12/20 02:47:49 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local1256877917_0001_m_000000_0 decomp: 46 len: 50 to MEMORY 
• 16/12/20 02:47:49 INFO reduce.InMemoryMapOutput: Read 46 bytes from map-output for attempt_local1256877917_0001_m_000000_0 
• 16/12/20 02:47:49 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 46, inMemoryMapOutputs.size() -> 1, commitMemory -> 0, usedMemory ->46 
• 16/12/20 02:47:49 INFO reduce.EventFetcher: EventFetcher is interrupted.. Returning 
• 16/12/20 02:47:49 INFO mapred.LocalJobRunner: 1/1 copied. 
• 16/12/20 02:47:49 INFO reduce.MergeManagerImpl: finalMerge called with 1 in-memory map-outputs and 0 on-disk map-outputs 
• 16/12/20 02:47:49 INFO mapred.Merger: Merging 1 sorted segments 
• 16/12/20 02:47:49 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 25 bytes 
• 16/12/20 02:47:49 INFO reduce.MergeManagerImpl: Merged 1 segments, 46 bytes to disk to satisfy reduce memory limit 
• 16/12/20 02:47:49 INFO reduce.MergeManagerImpl: Merging 1 files, 50 bytes from disk 
• 16/12/20 02:47:49 INFO reduce.MergeManagerImpl: Merging 0 segments, 0 bytes from memory into reduce 
• 16/12/20 02:47:49 INFO mapred.Merger: Merging 1 sorted segments 
• 16/12/20 02:47:49 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 25 bytes 
• 16/12/20 02:47:49 INFO mapred.LocalJobRunner: 1/1 copied. 
• 16/12/20 02:47:49 INFO mapred.Task: Task:attempt_local1256877917_0001_r_000000_0 is done. And is in the process of committing 
• 16/12/20 02:47:49 INFO mapred.LocalJobRunner: 1/1 copied. 
• 16/12/20 02:47:49 INFO mapred.Task: Task attempt_local1256877917_0001_r_000000_0 is allowed to commit now 
• 16/12/20 02:47:49 INFO output.FileOutputCommitter: Saved output of task 'attempt_local1256877917_0001_r_000000_0' to hdfs://Hadoop:54310/user/root/output/_temporary/0/task_local1256877917_0001_r_000000 

• 16/12/20 02:47:49 INFO mapred.Task: Task 'attempt_local1256877917_0001_r_000000_0' done. 
• 16/12/20 02:47:49 INFO mapred.LocalJobRunner: Finishing task: attempt_local1256877917_0001_r_000000_0 
• 16/12/20 02:47:49 INFO mapred.LocalJobRunner: reduce task executor complete. 
• 16/12/20 02:47:49 INFO mapreduce.Job: map 100% reduce 100% 
• 16/12/20 02:47:49 INFO mapreduce.Job: Job job_local1256877917_0001 completed successfully 
• 16/12/20 02:47:50 INFO mapreduce.Job: Counters: 35 

• 16/12/20 02:47:50 INFO streaming.StreamJob: Output directory: /user/root/output

出典

2016-12-19 MEHDI SAOUDI

-mapper utput /ユーザー/ルート/出力は

• 16/12/20 02:43:52 INFO mapred.FileInputFormat: Total input paths to process : 1 
• 16/12/20 02:43:52 INFO mapreduce.JobSubmitter: number of splits:1

Hadoopが単一の分割としてファイル全体を使用しました。

複数のマシンにマッパー間で入力を分割するNLineInputFormatを使用してみてください

出典

2016-12-22 17:23:16 AdamSkywalker

が、.mapreduce.input.lineinputformat.linespermapのデフォルト値は、処理は、マスタマシンたとえによって行われ、なぜ私にはわからない1 ですそれはtasktrackerを含んでいませんか？ –

ログに@MEHDISAOUDIがありますNLineInputFormatではなくFileInputFormatが表示されます – AdamSkywalker

Javaの開発者ではないため、ハープストリームで動作することを知ってこのオプションを追加する方法 –

Hadoopクラスタ：奴隷で唯一のマスタマシン上のHadoopストリーミングマップタスクの実行ではない

答えて

関連する問題