S3に内部テーブルと外部テーブルの両方を格納することの違い

Question

S3に内部テーブルと外部テーブルがあります。 HDFSとS3の内部テーブルの違いは何ですか？ S3に格納されている内部テーブルと外部テーブルの違いは何ですか？ S3で外部テーブルを削除すると、マスターノードのメタデータが削除され、S3のデータがそこにあります。その後、メタデータが削除されてからS3のデータにアクセスできますか？

Answer 1

ハイブテーブルは、S3（内部）（管理対象）または外部（外部）がS3またはHDFS内にあることは関係ありません。テーブル（管理対象または外部）タイプとストレージ（S3、HDFS）の間には接続がありません。

管理対象テーブルと外部テーブルの違いは、テーブルまたはパーティションを削除すると、ファイルのある場所も削除されることです。外部テーブルまたはそのパーティションを削除すると、場所が残ります。メタデータのみが削除されます。ファイルを直接読み取るか、Hiveテーブルまたはパーティションを作成して場所を指定することで、S3またはHDFSの場所にあるデータにアクセスできます。同じ場所を指す複数のテーブルを作成することもできますが、S3やHDFSは関係ありません。

HDFSとS3にはS3の最終的な一貫性など、多くの違いがあります。 S3とHDFSの違いについてはこちらをご覧ください：https://www.xplenty.com/blog/2014/03/storing-apache-hadoop-data-cloud-hdfs-vs-s3/ そして、ここで：https://databricks.com/blog/2017/05/31/top-5-reasons-for-choosing-s3-over-hdfs.html

また、結果整合性についてはこの回答を参照してください。https://stackoverflow.com/a/42677748/2700344