java.lang.RuntimeException：ネイティブスナップライブラリが利用できません：このバージョンのlibhadoopはスナッピーサポートなしで構築されました

Question

pysparkで以下のコマンドを使用してデータを取得できません。助けてください。私はCloudera VM 5.8.1とSpark 1.6.0を使用しています。

from pyspark.sql import HiveContext 
sqlContext = HiveContext(sc) 
depts = sqlContext.sql("select * from departments") 
for rec in depts.collect(): 
    print(rec) 

出力

java.lang.RuntimeException：ネイティブてきぱきと図書館利用できません：libhadoopのこのバージョンはてきぱきとサポートなしで構築されました。

Answer 1

たぶん、あなたは、Clouderaのintroduction

によると、この sqlContext.setConf("spark.sql.parquet.compression.codec","snappy") を試すことができます