2017-06-01 13 views
1

私は寄木張りのデータを持つ外部テーブルを持っています。ここでは圧縮は使用されていません。私はスパーク・ジョブを使ってHDFSディレクトリにデータ(寄木細工のファイル)を書いています。しかし、テーブルからデータを選択しようとすると、エラー/警告以下になり、出力が表示されません。 これは一般的な問題だと私は確信しています。どのように私はこれを克服することができます私に教えてください?寄木細工のデータを持たないハイブ外部テーブル

ハイブ - 1.2.1000.2.5.0.0-1245 HDP - 2.5.0.0-1245 スパークバージョン1.6.2

2017年6月1日5時04分27秒PM警告:org.apache .parquet.CorruptStatistics:created_byを解析できなかったため統計情報を無視する(PARQUET-251を参照)。parquet-mr version 1.6.0 org.apache.parquet.VersionParser $ VersionParseException:解析できなかったcreated_by:parquet-mr version 1.6.0 org.apache.parquet.VersionParser.parse(VersionParser.java:112)の の形式:(。+)バージョン(())?(ビルド?(。)) .parquet.CorruptStatistics.shouldIgnoreStatistics(CorruptStatistics.java:60)org.apache.parquet.format.converter.ParquetMetadataConverter.fromParquetStatisticsで (ParquetMetadataConverter.java:263)

寄木細工のライターのバージョンが使用されているためと思われます火花の仕事で、ハイヴで読んでいたものは違っていて、それらの間にはギャップがあります。ここで、Hiveでは読み込みに使用しているバージョンがparquet-mrバージョン1.6.0であることがわかります。

スパークジョブで使用した寄木細工のバージョンを変更するにはどうすればいいですか?私はこの問題を解決するためにそれを試すことができます。

答えて

-1

例外は無害です。

関連する問題