Golang unixタイムスタンプをSpark SQLフォーマットに変換する

Question

UnixのタイムスタンプがNanosecondsで与えられた場合、どのようにsparkで互換性のあるフォーマットに変換しますか？

答えがUDF（Sparkユーザー定義関数）の場合は役立ちます。

https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions $

https://github.com/mozilla-services/heka/blob/dev/message/message.proto#L42

Answer 1

この作品のように思える：

t.TIMESTAMPが大きい

を "TABLE Tからキャスト（タイムスタンプなどt.TIMESTAMP/1000000000）を選択し、" int、timestampは型です