Javaを使用してパーケットファイルのサイズと行数を取得する方法は？

ファイルサイズや行数などの寄木細工のメタデータが必要です。 SparkライブラリまたはJavaを使用してこの情報を取得する方法はありますか？これは、あなたが望むとおりに変換することができますサイズをバイト単位で返します

val file = new File("some.parquet") 
val fileSize = file.length

として

ここでは、寄せ木ファイルはありますか？ HDFS？ –

@ Shankar Koirala ...... HDFSではなく、ローカルシステムディレクトリの寄木張りファイル。 –

あなたはサイズを取得するにはScalaでのJavaファイルのAPIを使用することができます。

カウントしたい場合は、ロードしてカウントを取得する必要があります。行数を取得したい場合は、

val lineCount = io.Source.fromFile("some.parquet").getLines.size

2017-05-12 11:21:14

@avinash chavanこれが役に立ちましたか？ –

答えて