シャーディングとは何ですか、なぜ重要なのですか？

Question

私は、あなたのスライスアップされたデータ（シャード）を、文脈で意味をなさない集約に対処しやすくすることを理解していると思います。これは正しいです？

更新：私はここで苦労していると思います。私の意見では、アプリケーション層は、データをどこに格納すべきかを決めることはできません。せいぜい、何らかの種類のシャードクライアントであるべきです。両方の回答は、それが重要な側面である理由ではなく、何に答えましたか。明らかなパフォーマンス向上の外にどのような影響がありますか？これらの利益は、MVC違反を相殺するのに十分ですか？シャーディングは、非常に大規模なアプリケーションでは大部分重要ですか、それとも小規模アプリケーションに適用されますか？

Answer 1

シャーディングは、データベースの「水平パーティショニング」の別名です。あなたはそれをより明確にするためにその用語を検索したいかもしれません。 Wikipediaから

：

水平パーティショニングは、データベーステーブルの行が（正規化のような）のカラムではなく分裂よりも、別々に保持される設計原理です。各パーティションはシャードの一部を形成し、別のデータベースサーバーまたは物理的な場所に配置されます。利点は、各テーブルの行数を減らすことです（インデックスサイズが縮小され、検索パフォーマンスが向上します）。シャーディングがデータの実際の側面（例えば、ヨーロッパの顧客とアメリカの顧客）に基づいている場合、適切なシャードメンバーシップを容易かつ自動的に推論し、関連するシャードのみを照会することが可能である。

シャーディングに関するいくつかの詳細：

はまず、各データベースサーバは同じテーブル構造を有する、同一です。第2に、データレコードは論理的に分割されたデータベースに分割されます。パーティション化されたデータベースとは異なり、完全な各データレコードは、そのデータベースでのみ実行されるすべてのCRUD操作を使用して、1つのシャードにのみ存在します（バックアップ/冗長性のミラーリングがない限り）。使用する用語が気に入らないかもしれませんが、これは論理データベースを小さな部分に編成する別の方法を表しています。

更新： MVCを壊すことはありません。データを格納する正しいシャードを決定する作業は、データアクセスレイヤーによって透過的に行われます。そこでは、あなたのデータベースを断片化するために使用した基準に基づいて正しい断片を判断する必要があります。 （あなたのアプリケーションのいくつかの具体的な側面に基づいて、いくつかの異なる断片にデータベースを手動で分割する必要があるため）正しい断片を使用するためにデータベースからデータをロードして格納する際には注意が必要です。

Javaコードのthis exampleは、現実世界のシナリオではどのように機能するのかが幾分明確になります（Hibernate Shardsプロジェクトについて）。

「why sharding」に対処するには、主に非常に大規模なアプリケーションの場合にのみ、ロットのを使用します。まず、データベースクエリの応答時間を最小限に抑えるのに役立ちます。第2に、より安価な「ローエンド」マシンを使用して、1台の大きなサーバーではなく、より多くのデータをホストすることができます。

Answer 2

ローカリティが非常に制限されている（たとえば、ユーザーが 'where username = $ my_username'を使用して選択を実行する）DBMSへのクエリがある場合、ANで始まるすべてのユーザー名を1つのサーバーもう一方はMZのすべてです。これにより、いくつかのクエリで線形スケーリングに近づきます。

短いストーリー：シャーディングは、基本的に負荷を両方のサーバーに均等に分散するために、異なるサーバーにテーブルを分散するプロセスです。

もちろん、実際にははるかに複雑です。 :)

Answer 3

非常に 大規模なアプリケーションでは、ほとんどの重要なシャーディングされるか、それは小規模なものには適用され のでしょうか？

シャーディングは、ニーズが単一のデータベースサーバーによって処理できるものを超えている場合にのみ問題になります。断片化可能なデータがあり、スケーラビリティとパフォーマンス要件が非常に高い場合は、膨大なツールです。私は12年間、私はソフトウェア専門家であり、シャーディングの恩恵を受ける可能性のある状況に遭遇したと思います。適用範囲が非常に限られている高度な技術です。

さらに、今後の可能性は、すべての潜在的なパフォーマンス上の制限を消去する大規模なオブジェクト「クラウド」のような、楽しくエキサイティングなものになるでしょう。 :)

Answer 4

私の意見では、アプリケーション層 は、データがこれは良いルールですが、常に正しくないほとんどの事のように

を格納する必要があり を決定する一切の事業を持っていないはずです。

アーキテクチャを実行するときは、責任とコラボレーションから始めます。機能アーキテクチャを決定したら、機能していない力のバランスをとる必要があります。

これらの非機能的な力のひとつが膨大なスケーラビリティである場合、データストレージの抽象化がアプリケーション層にリークすることを意味していても、アーキテクチャを適応させる必要があります。

Answer 5

ShardingはもともとGoogleのエンジニアによって作成されたもので、Google App Engineでアプリケーションを作成するときにかなり使用されていました。クエリで使用できるリソースの量には厳しい制限があり、クエリ自体には厳しい制限があるため、シャーディングは奨励されるだけでなく、アーキテクチャによってほとんど強制されます。

もう1つの場所シャーディングは、データエンティティの競合を減らすために使用できます。スケーラブルなシステムを構築して、常にボトルネックになっているために頻繁に書かれたデータを監視することは、特に重要です。良い解決策は、その特定のエンティティを破棄し、マルチコピーに書き込んだ後、合計を読み取ることです。この「シャードカウンターWRTのGAEの例：これらのウェビナーのhttp://code.google.com/appengine/articles/sharding_counters.html