ハイブエラー - テーブルから*を選択します。

Question

正常に作成されたハイブで1つの外部テーブルを作成しました。

create external table load_tweets(id BIGINT,text STRING) 
    ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' 
    LOCATION '/user/cloudera/data/tweets_raw'; 

しかし、私が行ったとき：

hive> select * from load_tweets; 

を私は以下のエラーを得た：

Failed with exception java.io.IOException:org.apache.hadoop.hive.serde2.SerDeException: org.codehaus.jackson.JsonParseException: Unexpected character ('O' (code 79)): expected a valid value (number, String, array, object, 'true', 'false' or 'null') at [Source: java.io.ByteArrayInputStream@5dfb0646; line: 1, column: 2]**

この問題を解決する方法を私に勧めてください。それはflumeを使って作成されたtwitter o/pファイルが壊れていたのでしょうか？

Answer 1

さらに2つのことを行う必要があります。

1）（おそらくINSERTを使用して）ファイルにデータを入れます。それとも既にそこにあるのかもしれない。どちらの場合も、あなたはその後、ハイブのテーブルの場合msck repair table load_tweets;

、ハイブから

2）する必要があります、データに関するスキーマやその他のメタ情報は、ハイブメタストアと呼ばれるものに保存されている - それは実際にありますカバーの下にあるリレーショナルデータベースLOCATIONキーワードなしで作成されたHiveテーブル（外部テーブルではなく内部テーブル）に対して操作を実行すると、Hiveは自動的にメタストアを更新します。

ただし、ほとんどのHiveユースケースでは、他のプロセスを使用して更新されるファイルにデータが追加されるため、外部表が共通しています。新しいパーティションが外部で作成されている場合は、ハイブでクエリを実行する前に、msck repair table <tablename>;を使用してメタストアを強制的に現在のデータの状態と同期させる必要があります。