寄木細工ファイルの生成 - RとPythonの違い

Question

Dask（Python）とDrill（Sergeantパケットを使用している）にparquetファイルを生成しました。 R \ Drillでparquetファイルを削除することができた（これらのファイルを持っているし、代わりにparquet.crcファイルを持っていませんが（すなわちfastparquet）Daskのフォーマットは_metadataと_common_metadataファイルを持っている

1. ：我々はいくつかの問題に気づきました）。これらのparquet実装の違いは何ですか？
（のみ1に答える）、それが簡単に答えるようにするために、別の質問を投稿してください

Answer 1

）

_metadataと_common_metadataは寄せ木データセットのために必要とされていないヘルパーファイルであり、これらのものは/スパークによって使用されていますDask/Hive/...は、すべてのファイルのフッターを読む必要なく、データセットのすべてのParquetファイルのメタデータを推論します。これとは対照的に、Apache Drillは、すべてのParquetファイルのすべてのフッターを含む（必要に応じて）各フォルダーに同様のファイルを生成します。データセットの最初のクエリでのみすべてのファイルが読み込まれます。その後のクエリでは、すべてのフッターをキャッシュするファイルが読み込まれます。

_metadataと_common_metadataを使用しているツールは、実行時間を短縮するために活用できますが、操作には依存しません。それらが存在しない場合、クエリエンジンは単にすべてのフッターを読み取る必要があります。