スパークRDDフォールトトレランス

私の質問は、「スパークRDDでんフォールトトレランスが自動的に行われますか私たちは、失われたパーティションに変換を再生する必要がありますか？」スパークRDDフォールトトレランス

2016-11-11 Abhinav Kumar

スパークが自動的に失われたパーティションを再計算します。

2016-11-11 16:33:18

ありがとうサイモン。しかし、私はいくつかのブログで、RDDのパーティションを失った場合、そのパーティションで変換を再生する必要があると読んでいます。あれは正しいですか？ –

8つのノードを持つクラスタ上でコードを実行するとき。その後、RDDが配布されます。これで、ノードを失うことがあります。その1つのノード上のRDDのパーティションは失われます。開発者はそのケースを処理する必要はありません。 Sparkは、失われたパーティションを別のノードで自動的に再計算（再生）します。しかし、入力データはすべてのノードで使用可能でなければならず、hdfsで複製されているか、マスターノードでnfsで使用可能でなければなりません。 –

スパークRDDフォールトトレランス

答えて

関連する問題