2016-10-03 3 views
0

igniteでmaprreduceを実行すると、マッパー出力はローカルファイルシステムに書き込まれますメモリ内にある。したがって、マッパー側のローカルファイルシステム上でのI/O操作はまだ存在しますか?Apache igniteでmaprreduceを実行すると、マッパー出力がローカルファイルシステムに書き込まれます。つまり、マッパー出力はメモリにありません。

+0

Hadoop map-reduceまたはIgniteのネイティブCompute Gridを実行していますか? –

+0

私はIGFSを使ってApache IgniteのHadoop Acceleratorを使ってmap-reduceを実行しています。 – lalit

答えて

0

Hadoopは、設定ファイルで指定されたファイルシステムで動作します。このファイルシステムがIGFSの場合、すべてがそこに書き込まれます。


UPDATE(ユーザスレッドhttp://apache-ignite-users.70518.x6.nabble.com/MapReduce-with-Apache-Ignite-td8007.html対応からコピー&ペースト)。

現在、マッパー出力はメモリ内にのみ保存されています。私たちは、あらかじめ設定されたしきい値に従ってディスクの一部をディスクに流す瞬間的なアルゴリズムに取り組んでいます。 ジョブログごとに、Hadoopの場合と同じようにIgniteによって現在サポートされていません。まもなく同様の機能が追加されます。

+0

HadoopではHDFSを使用していますが、マッパーの出力はHDFSではなくローカルのファイルシステムに書き込まれるため、この例外はHadoop over apache igniteに当てはまりますか? – lalit

+0

フォローアップの質問に私を助けてください。 – lalit

+0

応答を更新しました –

関連する問題