スパークデータフレームは、最初

Question

を保つ私は、スパークのデータフレームから重複を削除するgroupBy機能を使用しています。グループごとに、最初の行を取りたいだけです。これは最も新しい行になります。

私は結果がすでにカサンドラにソートし、不要な計算を回避したい保存されている知っているので、私はmax()集計を実行する必要はありません。パンダを使って、this approachを見てください。

df = sqlContext.read\ 
      .format("org.apache.spark.sql.cassandra")\ 
      .options(table="table", keyspace="keyspace")\ 
      .load()\ 
      .groupBy("key")\ 
      #what goes here? 

Answer 1

ちょうどdropDuplicatesは仕事をする必要があります。

はdf.dropDuplicates(Seq("column")).showを試してみてください。

は、詳細については、このquestionをチェックしてください。