各データノードのローカルディスクにデータを書き込む

Question

マップタスクの値を各データノードのローカルディスクに保存したい。例えば、

public void map (...) { 
    //Process 
    List<Object> cache = new ArrayList<Object>(); 
    //Add value to cache 
    //Serialize cache to local file in this data node 
} 

はどのようにして、各データノードにローカルディスクにこのキャッシュ・オブジェクトを格納することができ、私は上記のようなマップ機能では、このキャッシュを保存している場合ので、パフォーマンスはI/Oタスクので、ひどいでしょうか？

このデータノードのマップタスクが完全に実行されるのを待つ方法はありますか？それからこのキャッシュをローカルディスクに保存しますか？あるいは、Hadoopはこの問題を解決する機能を持っていますか？

Answer 1

以下の例を参照してください。作成されたファイルは、NodeManagerでコンテナに使用されるディレクトリの下にあります。これは、構成プロパティ糸-site.xml内yarn.nodemanager.local-dirsに、または答えの下に参照してください。/tmp

Please see @Chris Nauroth answer, Which says that Its just for debugging purpose and It's not recommended as a permanent production configuration. It was clearly described why it was not recommended.

public void map(Object key, Text value, Context context) 
     throws IOException, InterruptedException { 
    // do some hadoop stuff, like counting words 
    String path = "newFile.txt"; 
    try { 
     File f = new File(path); 
     f.createNewFile(); 
    } catch (IOException e) { 
     System.out.println("Message easy to look up in the logs."); 
     System.err.println("Error easy to look up in the logs."); 
     e.printStackTrace(); 
     throw e; 
    } 
}