2016-11-15 4 views
0

私はApache Spark 2.0.1とApache Zeppelin 0.6.2を実行しています。Apache Zeppelinが集計データを返さない

val df = sqlContext 
    .read 
    .format("org.apache.spark.sql.cassandra") 
    .options(Map("table" -> "iot_data2", "keyspace" -> "iot")) 
    .load() 

import org.apache.spark.sql.functions.{avg,round} 

val ts = $"updated_time".cast("long") 

val interval = (round(ts/3600L) * 3600.0).cast("timestamp").alias("time") 

df.groupBy($"a", $"b", $"date_bucket", interval).avg("t").createOrReplaceTempView("iot_avg") 

私は、グラフをプロットしようとしています次の段落が、平均(「T」)の値が常に0である:

%sql 
select time,avg("t") as avg_t from ble_temp_avg where a = '${a}' and b = '${b}' group by time order by time 
ツェッペリンで

は、私は次の段落を持っています

私は本当に明白な何かを見逃していると思うが、私はそれが新しいスパークとツェッペリンユーザーとして何であるか分からない。

答えて

0

これは私が段落を書き換えた後に動作するようです:第二段落で

val df = sqlContext 
    .read 
    .format("org.apache.spark.sql.cassandra") 
    .options(Map("table" -> "iot_data2", "keyspace" -> "iot")) 
    .load() 

import org.apache.spark.sql.functions.{avg,round} 

val ts = $"updated_time".cast("long") 

val interval = (round(ts/3600L) * 3600.0).cast("timestamp").alias("time") 

df.select($"a", $"b", $"date_bucket", interval, $"t").createOrReplaceTempView("iot_avg") 

:最初の段落で

%sql 
select time,avg(t) as avg_t from iot_avg where a = 'test1' and b = 'test2' group by time order by time