私は、ジョインに基づいて2つのテーブルからデータを挿入するPythonプログラムでSparkを準備しています。ターゲット・テーブルの最後の列には、タイムスタンプ・フィールドがあり、タイムスタンプ・フィールドの値はcreate timestampになります。Pyspark:動的ハイブクエリでcurrent_timestampを取得
私はcurrent_timestampとfrom_unixtime(unix_timestamp())を試しました。両方の機能が動作していないようです。私は今()を試みました。
例えば、HiveContext(SC).SQL(+ "SELECT" FROM_UNIXTIME(UNIX_TIMESTAMP())+ "「)とpysparkで この文のエラー "NameError:名 'FROM_UNIXTIMEは' 私はpysparkをインポートした" 定義されていません。 .sql.function
タイムテーブル値をターゲットテーブルに挿入する方法はありますか?私のクエリには、HiveContextで実行している2つのテーブルの中から選択したものが含まれています。
ありがとうございます!
私は以下のコードを試してみましたが、私が取得しています:TypeError例外を: 'Column'オブジェクトは呼び出し可能ではありません fysHiveContext(sc).sql( "SELECT" + func.from_unixtime(func.unix_timestamp())+ "")としてimport pyspark.sql.functionsを呼び出します。 誰かがこのクエリで間違っていると言うことができます。ありがとう!!! – Aavik