Apache Spark Query with HiveContextが動作しません。

Question

私はSpark 1.6.1を使用しています。 Spark Java ProgrammではPostgresデータベースに接続し、すべてのテーブルをJDBC経由で一時テーブルとして登録します。たとえば：

Map<String, String> optionsTable = new HashMap<String, String>(); 
optionsTable.put("url", "jdbc:postgresql://localhost/database?user=postgres&password=passwd"); 
optionsTable.put("dbtable", "table"); 
optionsTable.put("driver", "org.postgresql.Driver"); 
DataFrame table = sqlContext.read().format("jdbc").options(optionsTable).load();   
table.registerTempTable("table"); 

これは問題なく動作します：

DataFrame tmp = hiveContext.sql("select * from table where value=key"); 
tmp.registerTempTable("table"); 

をそして私はテーブルの内容を見ることができます：

hiveContext.sql("select * from table").show(); 

また、この作品

hiveContext.sql("select * from table").show(); 

しかし、今私は問題があります。私はこれを実行すると：

hiveContext.sql("SELECT distinct id, timestamp FROM measure, measure_range w WHERE tble.timestamp >= w.left and tble.timestamp <= w.right").show(); 

スパークは何もしませんが、Postgresの上の原点databseでそれは非常に良好に動作します。だから私は少しこれをこれに変更することにしました：

hiveContext.sql("SELECT id, timestamp FROM measure, measure_range w WHERE tble.timestamp >= w.left").show(); 

このクエリは動作しています。しかし、他のクエリは機能していません。違いはどこにありますか？なぜ最初のクエリは機能しませんが、2番目のクエリはうまく機能していますか？

データベースはあまり大きくありません。テストには、4 MBのサイズがあります。

Answer 1

異なるIDを選択しようとしているので、集計関数の一部としてタイムスタンプを選択し、IDでグループ化する必要があります。それ以外の場合は、IDとペアにするタイムスタンプはわかりません。