新しいAPIでのMultipleTextOutputFormatの代替

Question

MultipleTextOutputFormatが目立つように、新しいAPIに移行されていません。したがって、出力ディレクトリを選択して、その場で書かれているKey-Valueに基づいてfienameを出力する必要がある場合、新しいmapreduce APIを使用する代わりに何ができますか？

と同様に

Answer 1

私はAWS EMR Hadoop 1.0.3を使用しており、k/vペアに基づいて異なるディレクトリとファイルを指定することができます。 MultipleOutputsクラスから以下の機能のいずれかを使用します。

public void write(KEYOUT key, VALUEOUT value, String baseOutputPath) 

または

public <K,V> void write(String namedOutput, K key, V value, 
         String baseOutputPath) 

旧write方法は、地図出力キーと同じタイプであることをキーが必要です（場合にはこれを使用していますmapper）またはreduce出力キーと同じタイプ（これをレジューサーで使用している場合）。値も同様に入力する必要があります。

後者write方法は、セットアップaddNamedOutput機能を使用してMultipleObjects静的プロパティを指定したタイプに一致するように、キー/値の型が必要です。

public static void addNamedOutput(Job job, 
           String namedOutput, 
           Class<? extends OutputFormat> outputFormatClass, 
           Class<?> keyClass, 
           Class<?> valueClass) 

ですから、Contextとは異なる出力タイプが必要な場合は使用しています後でwriteメソッドを使用する必要があります。

異なる出力ディレクトリを取得するトリックは、このように、ディレクトリの区切りが含まれているbaseOutputPathを渡すことです。私の場合は

multipleOutputs.write("output1", key, value, "dir1/part"); 

、これは「DIR1 /パート-R-00000」という名前のファイルを作成しました。

私は、すべてのbaseOutputPath sは厳密-outputパラメータに渡されたパスに含まれている、..ディレクトリが含まれていることbaseOutputPathを使用して成功しませんでした。

MultipleOutputsの設定方法と使用方法の詳細については、私が見つけたコードを参照してください（私のものではありませんが、非常に参考になりました。 https://github.com/rystsov/learning-hadoop/blob/master/src/main/java/com/twitter/rystsov/mr/MultipulOutputExample.java

Answer 2

：Hadoop Reducer: How can I output to multiple directories using speculative execution?

基本的に、あなたの減速から直接HDFSに書き込むことができます - あなたは、あなたはあなたがOutputCommitter所有実装する必要があります、投機的実行を警戒すると一意にあなたのファイルに名前を付けるためにだけ必要がありますあなたが本当に動的な出力フォルダを持っているなら、これは最も難しい部分です - 各フォルダをステップして打ち切った/失敗したタスクに関連するattempsを削除する必要があります。これに対する簡単な解決策は、Hadoopのに変わり、最良の答えのために投機的実行に

Answer 3

をオフにすることである - 。決定的なガイド第3版を（PGを開始する253。）

HDG帳から抜粋 -

"旧MapReduce APIには、複数の出力を生成するための2つのクラスがあります：MultipleOutputFormatとMultipleOutputs一言で言えば、MultipleOutputsはより完全に機能しますが、MultipleOutputFormatは出力ディレクトリ構造とファイルの命名をより詳細に制御します。古いAPIで2つの複数の出力クラスの最高の機能を組み合わせています。

これは、MultipleOutputs APIを使用してディレクトリ構造、ファイルの命名および出力形式を制御する方法の例を示しています。

HTH。