Cloudera Impala：ファイルに無効なバージョン番号があります。これは古いメタデータによるものです

Question

CDHディストリビューション（バージョン5.6.0）を（インパラ（バージョン2.4.0））で実行しています。

HDFSに格納されている寄木細工のファイルがあります。次に、私は次のクエリでインパラ外部表にこれらのファイルをロードしています

create external table parquetTable 
like parquet 'hdfs://cloudera-impala-mn0.eastus.cloudapp.azure.com:8020/user/root/big_data/part-r-00015-66cf01ca-ffee-4a62-b2c3-c09177ec4bd7.gz.parquet' 
stored as parquet location 'hdfs://cloudera-impala-mn0.eastus.cloudapp.azure.com:8020/user/root/big_data/; 

すべてのファイルが正常にリストされている次のクエリを実行する際：

[cloudera-impala-dn0.eastus.cloudapp.azure.com:21000] > show files in parquettable; 

また、メタデータが（正しいですdescribe parquettableを実行して確認します）。

テーブルの統計は、次のとおり

[cloudera-impala-dn0.eastus.cloudapp.azure.com:21000] > show table stats parquettable; 

Rows | Files | Size | Bytes Cached | Cache Replication | Format | Incremental stats | Location

-1 | 838 | 249.64GB | NOT CACHED | NOT CACHED | PARQUET | false | hdfs://cloudera-impala-mn0.eastus.cloudapp.azure.com:8020/user/root/big_data

は、次のクエリ実行：以下WARNINGで

[cloudera-impala-dn0.eastus.cloudapp.azure.com:21000] > select count(*) from parquettable; 

結果を、任意の出力結果またはエラーなし：

File 'hdfs://cloudera-impala-mn0.eastus.cloudapp.azure.com:8020/user/root/big_data/part-r-00001-7c29b85c-bd1f-420e-8834-96300076a92d.gz.parquet' has an invalid version number: ▒.F/ This could be due to stale metadata. Try running "refresh default.parquettable".

実行中のrefresh default.parquettableは何の効果もありませんでした。

ご協力いただければ幸いです！

Answer 1

あなたの手順は良好です。このエラーはpart-r-00001-7c29b85c-bd1f-420e-8834-96300076a92d.gz.parquetについて不平を言っていますが、テーブルを作成するときはpart-r-00015-66cf01ca-ffee-4a62-b2c3-c09177ec4bd7.gz.parquetを使用します。だから、part-r-00001-7c29b85c-bd1f-420e-8834-96300076a92d.gz.parquetに問題があるようです。あなたはpart-r-00015-66cf01ca-ffee-4a62-b2c3-c09177ec4bd7.gz.parquet以外のbig_dataテーブルのすべてのファイルを削除できますか？