0
私のlibarayで定義されたカスタムUDFを使用したいと思います。sparkでsql UDFを使用するためのJARファイルの追加
% spark2 インポートorg.apache.spark.sql.functions.year
ヴァルsqlContext =新しいorg.apache.spark.sql.hive.HiveContext（SC）：私は、次のコードを使用しています
sqlContext.sql（S "JAR /usr/hdp/current/spark-client/lib/myLib.jarを追加"）
ヴァルDF = sqlContext.sql（「parse_datetimeを選択（START_TIMESTAMP、 'CET' 、 'yyyyMMddHHmmssSSS'）ASTIMESTAMP）
上記のコード関数 "parse_datetime"が欠落していることを訴えているので、明らかにADD JAR文はmyLibを追加していません。構文上の問題があるのか、それとも何が欠けているのでしょうか？私はツェッペリンでこれを実行しています。
myLib.jarも$ SPARK_HOME/libフォルダにコピーしましたが、使用しません。