Amazon EMDのHadoop 1.0.1ジョブのサポート

Question

javaとhadoop 1.0.1を使用してMRジョブを開発しました。しかし、EMRはHadoop 0.20までしかサポートしていません。 EMRでHadoop 1.0.1ジョブを実行することは可能ですか、またはEMR hadoopバージョンに準拠するためにライブラリスタックをダウングレードする必要がありますか？

Answer 1

1.0.1の特定のクラスを使用しているかどうかによって異なります。 MapperクラスとReducerクラスのコアクラス（新旧両方のAPIタイプ）は、0.20から1.0.1の間で変更されていません。

hadoop依存関係を0.20.2に変更してMRジョブjarを再構築できます。コンパイルエラーがなければ、かなり近いです（0.20と1.0.1の間にいくつかのバグ修正がありますが、iあなたが大丈夫だろうと想像してください）。

ジョブがコンパイルに失敗し、0.20で使用できない入出力形式（一部のマルチ入力/出力など）と関連する場合は、1.0のHadoopソースをチェックできます。 1（または実際にCloudera 0.20.2のソース）を使用して、欠落しているフォーマットをバックポートしてジョブジャーに追加できるかどうかを確認します。

潜在的な回避策についてのコメントをお寄せいただくための元の質問に編集エラーを再度投稿してください。