java apiを使用してApache Spark Datasetでのdescによる注文方法

Question

私はスパークセッションを使ってファイルを読み、その単語を分割して単語の繰り返しを数えています。私は How to sort by column in descending order in Spark SQL?また、私はorg.apache.spark.sql.functions.col("count")を使用している場合はhttps://spark.apache.org/docs/2.1.1/api/java/org/apache/spark/sql/functions.html#desc(java.lang.String)

df.sort(asc("dept"), desc("age"))

で定義されている、それは罰金が、やることができない作品

SparkSession sparkSession = SparkSession 
      .builder() 
      .appName("Java Spark SQL basic example") 
      .config("spark.master", "local") 
      .getOrCreate(); 

JavaRDD<Word> textFile = sparkSession 
      .read() 
      .textFile("/Users/myname/Documents/README.txt") 
      .javaRDD() 
      .flatMap(s -> Arrays.asList(s.split("[\\s.]")).iterator()) 
      .map(w -> { 
       Word word = new Word(); 
       word.setWord(w.replace(",", "")); 
       return word; 
      }); 

    Dataset<Row> df = sparkSession.createDataFrame(textFile, Word.class); 
    df.groupBy("word").count().orderBy(org.apache.spark.sql.functions.col("count").desc()).show(); 

降順順序でデータを表示する必要がある」didnの仕事。私はそれがスカラーのためだと思う。 Javaのこれと同等のものは何ですか？

Answer 1

を使用する必要があります。

import static org.apache.spark.sql.functions.* 

Answer 2

あなたのコードは、SparkのJava文書に従って動作するはずです。あなたはインポートステートメントを投稿していません。 importがない場合はfunctionsです。 desc()およびasc()の機能は、functionsクラスの下にあります。 だから、あなたがこの方法でパッケージをインポートする必要がJavaではorg.apache.spark.sql.functionsasc("dept"), org.apache.spark.sql.functionsdesc("age")

またはorg.apache.spark.sql.functions.*