udf

0熱

1答えて

後述するように、私はハイブでCTASクエリを実行している：host, begin_time, l4_ul_throughput & l4_dw_throughputがISOPテーブルに存在する列である create table ps_agg as select host, count(*) c, sum(l4_ul_throughput+l4_dw_throughput) usg from op

0熱

1答えて

hive pythonで配列を出力する方法UDF

ハイブでUDFを行うためにPythonを使用しました。そのような構造化されたデータをUDFから出力するいくつかの方法がありますか？ UDFでPythonリストを返そうとしましたが、ハイブ配列に変換することはできません。

1熱

2答えて

ScalaのハイブUDFでJSONを解析する

JSON配列に作用するScala UDF for Hiveを作成しようとしています（org.apache.hadoop.hive.ql.exec.UDFを拡張し、play-jsonのplay.api.libs.json.parseに依存しています）。これをHiveから呼び出すと、java.lang.NoSuchMethodError: com.fasterxml.jackson.core.Jso

1熱

1答えて

PySparkでのUDFリロード

私はPySpark（Spark-clusterに接続するJupyter Notebook内）といくつかのUDFを使用しています。 UDFは、追加のパラメータとしてリストをとり、私はこのようなUDFを構築： my_udf = F.udf(partial(my_normal_fn, list_param=list), StringType()) すべてが機能を実行に関しては、正常に動作します。しかし、

2熱

1答えて

Hiveで通貨換算を達成するにはどうすればよいですか？私はUSD</p> <p>に全従業員の給料を変換したい

は私が私に以下の結果を与える必要があります選択クエリを記述する必要があり、私はハイブテーブル「EMP」 id name currency_code salary_as_per_currency_code 100 Surender EUR 10 101 Raja INR 100 102 Ajay USD 5 を考えてみましょう私の予想出力は id name cu

0熱

1答えて

Cassandra：集約関数INITCOND複合型ユーザー定義型

Cassandraのユーザー定義集計関数のINITCONDには何を入れることができますか？私はシンプルな型（例：タプル）の例しか見ていません。私は、集計関数における状態オブジェクトのための以下の型を持っている：私はINITCONDを省略した場合 create type avg_type_1 ( accum tuple<text,int,double>, // source, count,

1熱

1答えて

Pig UDF Throw NullPointerExceptionが新しいタプルを生成するとき

私はいくつかのデータを取り込み、そのデータを最小限の方法で変換しようとするPig UDFを持っています。 my_data = LOAD 'path/to/data' USING SomeCustomLoader(); my_other_data = FOREACH my_data GENERATE MyUDF(COL_1, COL_2, $param1, $param2) as output;

0熱

2答えて

検索SQL Serverの文字列

私は前に、名前、すなわち後にランダムな文字を持つ列nameを持つテーブルがあります。表： Name ----------------- asd4345JONlkj345 .;lidDavidlksd$ を、私は別のものを持っています名前を持っている同じDB内のテーブルは、IE：表B： Name ------ David Jon これは30k行の場合と

2熱

3答えて

Spark（Spark SQL）2.0.0でハイブカスタムUDFを登録

私はspark 2.0.0で作業しています。私の要件は、使用するSQLコンテキストで 'com.facebook.hive.udf.UDFNumberRows'関数を使用することですいずれかのクエリでHiveクエリを使用している私のクラスタでは、以下を定義するだけで、これを一時的な関数として使用します：CREATE TEMPORARY FUNCTION myFunc AS 'com.faceboo

0熱

1答えて

Cassandra：マップ結果を含むUDFがJavaでCodecNotFoundExceptionを取得する

カスタム集計関数を使用してクエリを実行すると、com.datastax.driver.core.exceptionsが取得されることがあります。 JavaドライバのCodecNotFoundException例外。集計関数の結果はマップです。私は、Java APIが標準タイプのマップ用のコーデックを持つことを期待しています。 cqlshは「値OrderedMapSerializedKeyのフォー