スパークデータフレーム

Question

に2列の値を除算Iがデータフレームとして記憶スパークにこのテーブルを持っています。比を含む別のデータフレーム（url、url1、ratio）を取得したいとします。ratio = count1/countです。どのように操作を記述するのですか？

Answer 1

それは非常に簡単です：

import spark.implicits._ 
val newDF = df.withColumn("ratio", $"count1"/$"count") 

のコード行は、あなたのdfにrationという名前の列を追加し、newDF

EDIT 1に結果をsotoreます（要求されたとして、Javaではソリューション） Javaで

import org.apache.spark.sql.functions._ 
Dataset<Row> newDF = df.withColumn("ration", col("count1").divide(col("count"))