igniteでmaprreduceを実行すると、マッパー出力はローカルファイルシステムに書き込まれますメモリ内にある。したがって、マッパー側のローカルファイルシステム上でのI/O操作はまだ存在しますか?Apache igniteでmaprreduceを実行すると、マッパー出力がローカルファイルシステムに書き込まれます。つまり、マッパー出力はメモリにありません。
0
A
答えて
0
Hadoopは、設定ファイルで指定されたファイルシステムで動作します。このファイルシステムがIGFSの場合、すべてがそこに書き込まれます。
UPDATE(ユーザスレッドhttp://apache-ignite-users.70518.x6.nabble.com/MapReduce-with-Apache-Ignite-td8007.html対応からコピー&ペースト)。
現在、マッパー出力はメモリ内にのみ保存されています。私たちは、あらかじめ設定されたしきい値に従ってディスクの一部をディスクに流す瞬間的なアルゴリズムに取り組んでいます。 ジョブログごとに、Hadoopの場合と同じようにIgniteによって現在サポートされていません。まもなく同様の機能が追加されます。
関連する問題
- 1. SSIS - ソースエラー出力(エラー出力に行がありません....)
- 2. Pythonのpexpectスクリプトはエラーなく実行されますが、出力ファイルには出力がありません
- 3. マッパーは実行中のマッパーの数を知ることができますか?
- 4. アセンブリプログラムに出力がありません
- 5. コンソールに出力がありません
- 6. プログラム実行中に出力がありません
- 7. データはIDEの側出力に書き込まれますが、クラスタには書き込まれません
- 8. Javaプログラムは実行されますが、出力はありません
- 9. vbaシェルコマンドが実行されていますが、出力がありません
- 10. Javaで出力がありません
- 11. マッパーは、それが実行されているデータノードのRAMに中間出力を保存しますか?
- 12. vmstatがファイルに出力を書き込んでいません
- 13. Verilogの出力ファイルに32行すべての出力を書き込むことができません
- 14. 出力にXSL 1.0行区切りがありません
- 15. エラー、「コードが実行されることはありません」、出力ストリーム
- 16. 画面に出力されません。私がファイルを読んでいるときに出力を出すことはありません
- 17. 私のコードにコンパイルエラーはありませんが、出力はありません
- 18. マッパーの単一出力で複数のレデューサーを実行
- 19. ビルド出力にメッセージを出力する(警告ではありません)
- 20. ブーストテストの出力がありません
- 21. Slick codegen出力がありません
- 22. アンドロイドタイルゲーム出力マップがありません
- 23. Talend - 出力がありません
- 24. サブプロセスコマンドの出力がありません
- 25. Tomcat 6とlog4jアプリケーションのログ出力には出力がありません
- 26. 出力が途切れることはありません
- 27. 出力はありません
- 28. getJSON出力はありませんか?
- 29. Log4jのターミナルログは実行中ですが出力ファイルがありません
- 30. パッケージマネージャウィンドウで実行されるコードのコンソール出力またはデバッグ出力はどこにありますか?
Hadoop map-reduceまたはIgniteのネイティブCompute Gridを実行していますか? –
私はIGFSを使ってApache IgniteのHadoop Acceleratorを使ってmap-reduceを実行しています。 – lalit