Spark Datasets - 厳密な型指定

Spark Datasetsに関して厳密に型指定されたAPIと型なしのAPIとは何ですか？Spark Datasets - 厳密な型指定

データセットはデータフレームとどのように類似していますか？

2016-11-09 Arvind Kumar

誰でもこの質問にお答えください。 –

リンクでは、データセットとデータフレームの違いについて説明しました。 http://stackoverflow.com/questions/31508083/difference-between-dataframe-and-rdd-in-spark/39033308?noredirect=1#comment68807827_39033308 –

データフレームAPIはタイプされていないAPIなので、タイプはランタイム中にのみ認識されるからです。一方、データセットAPIはコンパイル時に型がわかる型付けされたAPIです。

df.select("device").where("signal > 10")  // using untyped APIs 
ds.filter(_.signal > 10).map(_.device)   // using typed APIs

出典

2017-10-01 16:17:05

Spark Datasets - 厳密な型指定

答えて

関連する問題