Google Cloud Platformのアーキテクチャ

Question

簡単な質問：

Google Big Queryで処理されたデータはGoogle Cloud Storageに保存されていて、GBQの目的でセグメント化されていますか？ Google Big Queryは独自のストレージメカニズムを保持していますか？

私はアーキテクチャを勉強しようとしていますが、矢印が前後に向いていますが、GBQのアーキテクチャがどこにあるのかはわかりません。

ありがとうございました。

Answer 1

Bigquery under the hoodから：

巨像 - BigQueryには、巨像に依存している分散ストレージ

、Googleの最新世代は ファイルシステムを配布しました。 Googleの各データセンターには独自の巨像クラスタがあり、各巨像クラスタには のディスクがあり、すべてのBigQueryユーザーに一度に何千もの専用ディスクを提供します。巨像はまた、 レプリケーション、回復（ディスクがクラッシュしたとき）、および分散管理 を処理します（単一障害点はありません）。巨像は、 の速度で、BigQueryが多くのメモリ内のデータベースに同様のパフォーマンスを提供することを可能にしますが、スケーラブルで耐久性がありパフォーマンスの良いインフラストラクチャである、より安価で高度に並列化された データベースを活用します。

のBigQueryが 、 BigQueryのユーザーがシームレスストレージにペタバイトの多数に拡張することを可能にする構造data.Colossus大量のを読み取るための最適 方法で巨人にデータを格納するColumnIO柱状記憶フォーマットと 圧縮アルゴリズムを活用はるかに高価なコンピュート リソースを添付するというペナルティを払うことなく、従来のほとんどのデータベースで典型的なものです。

現在、ColumnIOの部分は古くなっています.BigQueryでは現在Capacitor formatが使用されていますが、残りはまだ有効です。