私はApache Helixが動的なクラスタ拡張/縮小(物理ノードの追加/失敗/削除など)を可能にすることを理解します。しかし、単一の物理ノードが単一のパーティションレプリカを処理できない場合は、パーティションを2つに分割する必要があります。ワークロードをあらかじめ見積もる必要があることを理解しているので、十分な数のパーティションを前もって設定することができます。しかし、予期せぬほどトラフィックが増加するため、このような事前推定はほとんど不可能です。 Helixがアウト・オブ・ボックスの再パーティショニングをサポートしているかどうかは誰にでも分かりますか?再分割機能を追加するためにそれをカスタマイズする必要がある場合は、その努力がどれほど大きく、原則的にそれを行うかです。私は簡単な見積りをしたい。ありがとうApache Helixはパーティション分割とマージをサポートしていますか?
0
A
答えて
0
Helixは、パーティションの分割/マージをサポートしていません。根底にあるシステムを理解することなくこれをサポートする一般的な方法を思いつくことはできませんでした。
これまで述べてきたように、Helixが提供するプリミティブを使用してカスタムソリューションを構築することは可能です。システムに関する追加情報を提供できる場合は、何か提案することができます。
0
私は、多数の(論理的な)パーティションから始め、各ノードに複数のパーティションを割り当てることをお勧めします。サービスがより多くのリソースを必要とするときは、ノードを追加し、既存のノードから新しいノードにいくつかのパーティションを移動します。 たとえば、50ノードから始めるとしたら、ワークロードの領域を50000論理パーティションに分割し、各ノードに1000パーティションを割り当てます。そして、例えば75ノードまで増加すると、再分配されます。したがって、ノードあたり667のパーティションになります。 実際のシナリオによっては、再配置されたパーティションを最小限に抑えることができます(たとえば、一貫したハッシングアルゴリズムを使用するなど)。
関連する問題
- 1. 動的パーティション分割はすべてのパーティションを更新しますか?
- 2. djangoはテンプレートを分割してサポートしていますか?
- 3. Oracleでのパーティション分割とパーティション分割の方法
- 4. HDFSとHIVEのパーティション分割
- 5. コードネーム1は分割ペインUIコンポーネントをサポートしていますか?
- 6. Apache Helix 0.7.1でのリソースの再割り当ての無効化
- 7. tomcatのwebappパーティション分割
- 8. パーティションの分割の動作を理解しようとしています
- 9. Google BigQueryは日付パーティション以外をサポートしていますか?
- 10. csv pythonを分割してマージする
- 11. パーティションバイナリを使用したパーティション分割データ
- 12. 複数のRDDとパーティションの分割?
- 13. リソースのRESTfulマージと分割
- 14. MS SQLサーバはリストによるテーブル分割をサポートしていますか?
- 15. Haskellでパーティションを分割する
- 16. Apache Helixを他のコンセンサスサービスと併用することは可能ですか?
- 17. Apache Helixの使用時期とApache Mesosの使用時期
- 18. パーティション分割されたデータを再パーティション化する
- 19. パーティションにローカルのセカンダリインデックスがある場合、パーティション分割が行われますか?
- 20. 誤って分割されたリージョンを分割してマージする方法
- 21. apache thriftは関数の変数をパラメータとしてサポートしていますか?
- 22. rxjsを使用してパーティションを分割し、変換してから新しい配列に圧縮します
- 23. Liferay 6.2はApache Wicketをサポートしていますか?
- 24. Apache IgniteはWAN複製をサポートしていますか?
- 25. は、Apacheレベルのアクセスをサポートしていますか?
- 26. Apache NiFiはバージョンコントロールをサポートしていますか
- 27. FortifyはPython、Scala、Apache Sparkをサポートしていますか?
- 28. J2MEはApache Luceneをサポートしていますか?
- 29. Apache Spark SQLはMERGE句をサポートしていますか?
- 30. Apache CXFはTLS 1.2をサポートしていますか?