Hadoop：ユニットテストの方法FileSystem

Question

ユニットテストを実行したいが、私はorg.apache.hadoop.fs.FileSystemインスタンスを持っている必要がある。 FileSystemを作成するためのモックその他のソリューションはありますか？

Answer 1

あなたはHadoopの2.0.0を使用している場合は、Hadoopの

Answer 2

可能な方法は、TemporaryFolderをJunit 4.7で使用することです。

参照：http://www.infoq.com/news/2009/07/junit-4.7-rulesまたはhttp://weblogs.java.net/blog/johnsmart/archive/2009/09/29/working-temporary-files-junit-47。

Answer 3

私は（私がより良い解決策を見つけるまで）何をしたのですか？私はFileSystemを拡張しました。

Answer 4

MockitoやPowerMockのようなモックフレームワークを使用して、あなたのインタラクションをFileSystemでモックにしてみませんか？単体テストは実際のFileSystemに依存すべきではありませんが、FileSystemと対話する際のコード内の動作を検証するだけですべきです。

Answer 5

せずにテストすることができますので、それはMiniDFSClusterとMiniMRClusterを設定するために分類しているHadoopのテストジャー

<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-test</artifactId> 
    <version>0.20.205.0</version> 
</dependency> 

を見て、上記 - あなたのローカルマシンの一時HDFSを作成し、その上に、あなたのテストを実行することができ、それにより

<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-minicluster</artifactId> 
    <version>2.5.0</version> 
    <scope>test</scope> 
</dependency> 

Hadoopの-miniclusterを使用することを検討してください。

baseDir = Files.createTempDirectory("test_hdfs").toFile().getAbsoluteFile(); 
Configuration conf = new Configuration(); 
conf.set(MiniDFSCluster.HDFS_MINIDFS_BASEDIR, baseDir.getAbsolutePath()); 
MiniDFSCluster.Builder builder = new MiniDFSCluster.Builder(conf); 
hdfsCluster = builder.build(); 

String hdfsURI = "hdfs://localhost:"+ hdfsCluster.getNameNodePort() + "/"; 
DistributedFileSystem fileSystem = hdfsCluster.getFileSystem(); 

そして、あなたはあなたのミニHDFSクラスタをシャットダウンして、一時ディレクトリを削除する必要がありtearDownメソッドで：setUpメソッドは次のようになります。

hdfsCluster.shutdown(); 
FileUtil.fullyDelete(baseDir); 

Answer 6

RawLocalFileSystemを参照してください。私はあなたがそれを嘲笑するほうがいいと思うが。

Answer 7

あなたはHBaseTestingUtilityを使用することができます。

public class SomeTest { 
    private HBaseTestingUtility testingUtil = new HBaseTestingUtility(); 

    @Before 
    public void setup() throws Exception { 
     testingUtil.startMiniDFSCluster(1); 
    } 

    @After 
    public void tearDown() throws IOException { 
     testingUtil.shutdownMiniDFSCluster(); 
    } 

    @Test 
    public void test() throws Exception { 
     DistributedFileSystem fs = testingUtil.getDFSCluster().getFileSystem(); 
     final Path dstPath = new Path("/your/path/file.txt); 
     final Path srcPath = new Path(SomeTest.class.getResource("file.txt").toURI()); 
     fs.copyFromLocalFile(srcPath, dstPath); 
     ... 
    } 
}