Hadoop on EC2とElastic Map Reduce

Question

これらの2つのオプションの違いを評価しようとしています。

エラスティックマップReduce => Amazonからのサポートが改善され、クラスタを管理する必要はありません。より高価（？） EC2 + Hadoop =>ハープ設定をより細かく制御し、より安価なものにすることができます。 （？）

EC2 + Hadoopのパフォーマンスをベンチマークした人がいるのでしょうか？大規模なクラスタ展開の場合、コストに大きな違いはありますか？他にどのような違いがありますか？

Answer 1

まあ、クラスタの管理/監視/メンテナンスはそれ自体小さな仕事ではありません。 EMRを実際に使用すると、すぐにカスタムブートストラップコードを使用してマシンを構成して稼動させることができます。 これらのすべてのことを行うことは別として、EMRは多くの他のツール/オプション/機能も提供しています。

ジョブが完了した後でクラスターを終了することを心配する必要はありませんが、EC2 + Hadoopセットアップでは必ず自分のための方法を実装できますが、EMRはこれをきちんと行います。

また、あなたの仕事が実行中であってもresize the clusterサイズの機能があります！

EMRで利用できるPigとHiveには、S3でファイルを扱いやすくするためのパッチも含まれています。

この回答でもhereでも、EMRが優位に立っていることがわかります。

Answer 2

私の仕事では両方のアプローチ（EMRとEC2）を使用します。

アマールが言及したEMRの利点は、多かれ少なかれ真実です：あなたが単純さを望むなら、それは行く方法かもしれません。

しかし、他の考慮事項があります。

• EMRのバージョンがはるかにapacheの頭の後ろです。ヘッドは、本質的に2.X、であるのに対し、それは約0.20.205である3つのバージョンアップ（1.0、1.1、2.0 ..）のdomU-12-31-39-07-B9-97 @

のHadoop ：〜$ ll hadoop * .jar lrwxrwxrwx 1 hadoop hadoop 73 Feb 5 12:00 hadoop-examples-0.20.205.jar - > /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-examples- 0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 69 Feb 5 12:00 hadoop-test-0.20.205.jar - > /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-test-0.20.205 .jar lrwxrwxrwx 1 hadoop hadoop 69 Feb 5 12:00 hadoop-core-0.20.205.jar - > /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-core-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 70 Feb 5 12:00 hadoop-tools-0.20.205.jar - > /home/hadoop/.versions/0.20.205/share/hadoop/ hadoop-tools-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 68 Feb 5 12:00 hadoop-ant-0.20.205.jar - > /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-ant私が原因あなたがいないEMR

上で実行されている古いバージョンでは不足しているcontribモジュールにプログラムを減らす/再コード/再構築私の地図に持っていた直接の結果として

• -0.20.205.jar M/Rの更新版を使用しているかのように、Map/Reduce以外のアルゴリズムを使用する機会があります。

• hadoopエコシステムのバージョンを混在させて一致させる柔軟性。それはEC2インスタンスの上に25％の周りに追加され