ハープ・ストリーミングでは、ファイルを減速機のローカル・ディスクに書き込むことはできますか？

Question

ハープ・ストリーミングでは、ファイルを減速機のローカル・ディスクに書き込むことはできますか？

例えば、C++によって減速で、Iコード

ofstream fout(***); 
fout << "asdf"; 

はこのメイクセンスをしなければ？ foutによって作成されるファイルはどこにありますか？

Answer 1

Hadoopストリーミングは、TextOutputFormatのようなHadoop OutputFormattersを使用します。したがって、ビルトイン形式で提供されるもの以外の特定の出力動作を取得する方法の1つは、カスタム出力形式を記述し、getRecordWriter(TaskAttemptContext context)メソッドをオーバーライドすることです。

ローカルディスクに直接書き込むことで問題が解決するかどうかはわかりませんが、問題ありません。あなたはそれを与える必要があります。これの主な問題は、クラスター内で、どのノードでレジューサーを実行しているのかわからず、HDFSが提供する信頼性がかなり失われていることです。

Answer 2

fs.defaultがhdfs-site.xmlのfile：///ではない場合、レデューサーはローカルfsに直接書き込むことができません。デフォルトでは、リデューサはhdfs-site.xmlで提供されているファイルシステムに出力を保存します。