spark cassandraクラスタリソース(ワーカー、エグゼキュータ、コア、メモリなど)を作業負荷に基づいて動的に追加または削除する方法はありますか?展開前にクラスタリソースを予測できますか?クラスタからノードをスケールダウン/削除するときに、データを使って行うことができます。停止時間ゼロのspark cassandraクラスタの自動スケーリング
0
A
答えて
0
スパークは、設定オプションの多くが付いている労働者の動的割り当てをサポートし、https://spark.apache.org/docs/latest/job-scheduling.html#dynamic-resource-allocation
ショートバージョンを参照してください。タスクキューは、スパークが執行の割当てを解除します
- スパークは、新たな執行を割り当てることができます彼らがしばらくの間アイドル状態になっているとき
- 実行者は起動時に設定されたコア/メモリの量を割り当てられるので、賢明に選択してください
- キャッシュは動的割り当ての影響を受けます(主にエグゼキュータが割り当て解除されます)
+0
ありがとうございます。私は基本的に、データの局所性を保持することによって、スパーク・カランダ・クラスタ内のノードを追加/削除することに興味があります。 – askquestion
関連する問題
- 1. 停止時間ゼロの再構築インデックス
- 2. クラスタ停止時のKafkaPublisherブロック
- 3. 自動スケーリングAWS EMRクラスタ0のノードが
- 4. Cassandraでハンドルノードを廃止する自動スケーリング
- 5. Flexslider(jQuery):自動アニメーションの一時停止
- 6. Pumaを使用した停止時間のゼロ化
- 7. GC停止中のCassandraクライアントの動作
- 8. Kubernetes Nginx:停止時間ゼロの展開方法
- 9. WaveAudioStreamの一時停止/停止時の待ち時間
- 10. Bluemix Sparkで手動でクラスタを起動、停止、再起動する方法は?
- 11. 時間の経過後にSparkストリーミングジョブを停止する
- 12. ECSクラスタを一時停止する
- 13. RabbitMQクラスタ間でMessageListenerContainerを停止
- 14. 時間の経過後に自動スケーリングのインスタンスを自動的に終了
- 15. ローカルのspark-cassandraコネクタがSparkクラスタを表示します
- 16. AWS Beanstalkの自動スケーリングを最小インスタンス数がゼロの
- 17. 停止時間ゼロのスケーラブルなシステムに新しいノードを追加
- 18. 停止時間のないWebSphereのデプロイ
- 19. actionscriptの行間の一時停止
- 20. pandocの自動停止を停止する
- 21. 自動jqueryスライダーの再生/一時停止ボタン
- 22. 定期的な間隔でcassandraの複製を停止する
- 23. 脈動する円の間の一時停止
- 24. 停止時間のないmysqlサーバの移動
- 25. spark-cassandraのspark-cassandraコネクタとの統合
- 26. JanusGraphのSparkクラスタとCassandraの設定と設定
- 27. AWS cliでの自動運転停止?
- 28. C#マウスの移動イベント、時間ループが停止する
- 29. Google AppEngineの自動スケーリング(バックダウン)
- 30. 移行時間と停止時間の測定方法
詳細を教えてください。展開する前にクラスタリソースを予測するとはどういう意味ですか?どんな種類のクラスタを実行していますか?スタンドアロンスパーク、ヤーン、メゾス?どのような種類のノードを削除したいですか?エグゼクティブをスパークする?カサンドラノード? – LiMuBei
クラスタはスパークYARNです。私の理解によると、executersの追加/削除は、sparkの動的割り当てによってサポートされています。それはストレッチをサポートするか、クラスタのサイズを絞ることです。 sparkワーカーノードとcassandraノードを別々に追加/削除できますか?もしそうなら、それを行う方法。 spark workerとcassandraノードの追加/削除を正確にトリガーするものは何ですか? – askquestion
例:私は4ノードのspark cassandraクラスタで始まり、毎日100GBのデータがクラスタを管理する方法よりも進んでいますか? – askquestion