2016-11-18 7 views
0

RDBMSからHbaseへのバルクデータ移行中に、リージョン分割が頻繁に行われる可能性はありますか?より多くの時間が発生する場合、それは書き込み性能と読み取り性能に確実に影響します。バルクロードマイグレーション中のリージョン分割

私は事前分断がこの領域の分割をある程度避けることができると知っています。

私たちの製品設計では、まずHbaseに新しいデータを書き込む予定です(6ヶ月間)。Hbaseシステムが新しいデータの読み取りと書き込みを安定させると、RDBMSからHbase。この段階では、データが大きすぎると領域の分割が頻繁に発生することがあり、読み取りと書き込みの両方のパフォーマンスに影響します。

私たちの行キーは、ユーザーごとに増分します。ユーザーが異なると、別の方法で開始します。

データの移行中にサーバーのパフォーマンスを維持するための解決策を提案してください。

答えて

0

私はhbaseをあらかじめ分割しないことを支持しています。製品の重要な機能の1つは自動シャーディングです。分割は非常に速い操作ですが、コンパクションのためのパスになります。私はhbaseのヒープコンパクションが不十分に動作することを発見しました。スプライスマシン(オープンソース)では、圧縮をSparkに移しました。hbaseの操作にはほとんど影響しません。

関連する問題