特定のhadoopスレーブのファイル内の行を処理する方法は？

Question

FileInputFormatを拡張したカスタム入力フォーマットがあります。これは、入力ファイルの各行に対して別々の分割を生成します。このファイルは、この行を扱うマッパーが実行するホスト名を提供します。

どうすればよいですか？

これは、マッパーがDBからデータを読み込み、マッパーをDBサーバーと同じマシンで実行するために必要です。

Answer 1

Hadoopコードベース内に独自の実装を記述しないと不可能です。

あなたがマップ入力にデータを追加しようとしている場合は、ジョブの引数として渡すと、あなたは、あなたのマップ（）でそれを持っていると入力して、それを連結することができます。