1
最近、私はHadoopクラスタをS3でセットアップしています。すべてのデータファイルはHDFSではなくS3に格納されています.S3上でsparkとMPを正常に実行するので、namenodeがまだ必要かどうか、私はS3の上にhadoopアプリケーションを実行している間、私のnamenodeは何をしますか？ありがとう。HDFSの代わりにS3を使用する場合、Namenodeはまだ必要ですか？
A
答えて
0
いいえ、S3には配送作業コミッターが必要とする一貫性がないという事実に対処する手段があれば提供されます。 S3のリストに十分な一貫性がない場合、結果は無効になりますとなり、に気付かないことがあります。
Spark on AWSの異なるサプライヤは、それぞれ独自の方法でこれを解決します。 ASFスパークを使用している場合、これを行うことができるバンドルはありません。
関連する問題
- 1. hasOwnProperty（）の代わりにin演算子を使用する必要がある場合はありますか？
- 2. DBとAPIだけが必要な場合、RoRの代わりにSinatraを使用するメリット
- 3. bluebird nodejsの場合.catchの代わりに.error（）を使用する必要があります。
- 4. JSONの代わりにJSON []を使用する場合は、
- 5. com.google.appengine.repackaged *の代わりに何を使用する必要がありますか？
- 6. scala.concurrent.Futureの代わりにakka.http.scaladsl.util.FastFutureを使用する必要がありますか？
- 7. AddPortの代わりに何を使用する必要がありますか？
- 8. TFilenameの代わりにStringを使用する必要がありますか？
- 9. pxの代わりにemを使用する場合のベストプラクティス
- 10. タグディスパッチの代わりにconstexprを使用する場合
- 11. この場合instanceofを使用する代わりに？
- 12. エンティティフレームワークの代わりにエンティティフレームワークコアを使用する場合
- 13. 「fun」の代わりに「function」を使用する場合
- 14. std :: setの代わりにstd :: unordered_setを使用する場合
- 15. 継承の代わりに委譲を使用する場合
- 16. mod_wsgiデーモンモードコードの代わりに "site"を使用する必要があります
- 17. MapReduceでHDFSの代わりにHBaseを使用
- 18. シータまたはリトルOの代わりにビッグOを使用する場合
- 19. なぜ、どのような場合には、spring mvcではシングルサーブレットの代わりに複数のサーブレットを使用する必要がありますか？
- 20. Hadoop HDFS Namenode Fail
- 21. iOS：この場合、代理人またはNSNotificationを使用する必要がありますか？
- 22. numpy.arrayも使用している場合は、Python floatの代わりにnumpy.float64を使用する必要があります。
- 23. RESTfull APIの場合はCORSを使用する必要がありますか？
- 24. ++ varを使用する必要がある場合はありますか？
- 25. スティッキセッションを使用する場合、SignalRバックプレーンは必要ですか？
- 26. RestDocumentationクラスは非推奨ですが、代わりに使用する必要がありますか？
- 27. 制御構造のネストの代わりにgotoを使用する場合はありますか？
- 28. DATE列の代わりにIDを使用する場合の欠点はありますか？
- 29. Apple macOSでAccelerate APIの代わりにMetalを使用する場合
- 30. 関数を1回だけ呼び出す場合は、 'use'を使用する必要がありますか？