mrunit

1熱

1答えて

java.lang.ClassCastException：org.apache.hadoop.io.serializer.WritableSerializationをorg.apache.hadoop.io.serializer.Serializerにキャストできません

MRUnitを使用してMultipleOutputsをテストしています。テストケースが次のメッセージで失敗しています。 java.lang.ClassCastException: org.apache.hadoop.io.serializer.WritableSerialization cannot be cast to org.apache.hadoop.io.serializer.Serial

14熱

2答えて

mrunitの後継とは何ですか？

今日、私はASFがmrunitを引退したことを知りました（https://blogs.apache.org/foundation/entry/the_apache_news_round_up85とhttps://issues.apache.org/jira/browse/HADOOP-3733とhomepage itselfを参照）。「非活動」以外に理由はありませんでしたので、代わりがなければな

2熱

1答えて

MRUnitテストhadoopマッププログラムのエラー

MRUnitを使用してMapperプログラムを単体テストしようとしています（Hadoopから：決定的なガイドブック、153ページ、セクション：MRUnit：Mapperでユニットテストを書く）。私はIntelliJのアイデアを使用することだし、それは方法でエラーを示しているMapDriverでwithMapper（org.apache.hadoop.mapreduce.Mapperが）に適用するこ

2熱

1答えて

MRUnit空のコンフィグレーションを返すコンテキストオブジェクト

MRUnitのヘルプが必要です。私は以下のようにMapReduceDriverに自分の設定ファイルを追加しています。減速クラスはプロパティセットアップで（）mehtodにアクセスしようとしたとき、そのコンフィギュレーション・ファイルに渡されたから値を取得していない conf = mapReduceDriver.getConfiguration(); conf.addResource("path_

0熱

1答えて

MRUnitでの特定の例外のテスト

TestNG（またはJUnit）では簡単です。 String xがnullで、NullPointerExceptionががスローされているので、テストの上 @Test(expectedExceptions = NullPointerException) public void test() throws NullPointerException { String x = null;

1熱

1答えて

MRユニットとユニットテスト用のJUnit

JUnitとMockitoの使用法を組み合わせたMRテストユニットのMRユニットを使用した場合の利得は何ですか？具体的には、JUnitを使用して実行できないことは何か、それとももっと難しいですか？私の考えは、すべてのロジックをマッパー/レデューサーからヘルパークラスに移動し、適切なメソッドがモックで呼び出されたことを確認することです。なぜMRユニットを使用しますか？

1熱

1答えて

MRUnitを使用してテストする前に出力を調整する

mapreduce2を使用してアプリケーションを作成し、MRUnit 1.1.0を使用してテストしています。テストの1つでは、現在のシステム時間を出力する減速器の出力を確認しています。私。減速機が実行される時点で、タイムスタンプはcontext.write()で使用され、残りの出力とともに書き込まれます。今では、私が減速機で使用する方法と同じ方法をテスト方法で使用しても、両方で計算された時間は通常