2016-06-29 11 views
0

私は、ジョインに基づいて2つのテーブルからデータを挿入するPythonプログラムでSparkを準備しています。ターゲット・テーブルの最後の列には、タイムスタンプ・フィールドがあり、タイムスタンプ・フィールドの値はcreate timestampになります。Pyspark:動的ハイブクエリでcurrent_timestampを取得

私はcurrent_timestampとfrom_unixtime(unix_timestamp())を試しました。両方の機能が動作していないようです。私は今()を試みました。

例えば、HiveContext(SC).SQL(+ "SELECT" FROM_UNIXTIME(UNIX_TIMESTAMP())+ "「)とpysparkで この文のエラー "NameError:名 'FROM_UNIXTIMEは' 私はpysparkをインポートした" 定義されていません。 .sql.function

タイムテーブル値をターゲットテーブルに挿入する方法はありますか?私のクエリには、HiveContextで実行している2つのテーブルの中から選択したものが含まれています。

ありがとうございます!

+0

私は以下のコードを試してみましたが、私が取得しています:TypeError例外を: 'Column'オブジェクトは呼び出し可能ではありません fysHiveContext(sc).sql( "SELECT" + func.from_unixtime(func.unix_timestamp())+ "")としてimport pyspark.sql.functionsを呼び出します。 誰かがこのクエリで間違っていると言うことができます。ありがとう!!! – Aavik

答えて

0
以下のように二重引用符内で使用

、それが働いた:

HiveContext(SC).SQL( "(UNIX_TIMESTAMP())FROM_UNIXTIMEを選択")

関連する問題