Spark ORCインデックスはどのように使用しますか？

Question

orcのインデックス作成を有効にするオプションは何ですか？

  df 
      .write() 
      .option("mode", "DROPMALFORMED") 
      .option("compression", "snappy") 
      .mode("overwrite") 
      .format("orc") 
      .option("index", "user_id") 
      .save(...); 

私は、オークからインデックス列「USER_ID」にそこに置くために何を持っているでしょう、.option("index", uid)を作ってるんです。

Answer 1

お試しください：.partitionBy("user_id")？

df 
     .write() 
     .option("mode", "DROPMALFORMED") 
     .option("compression", "snappy") 
     .mode("overwrite") 
     .format("orc") 
     .partitionBy("user_id") 
     .save(...)