pig-udf

1熱

1答えて

私はPIGスクリプティングを初めて使用していましたが、私は10個までの条件でラダーを実行する必要があるという要件がありました。私はどの知識から3値演算子しか持っていませんでした。 - （条件：statement1？（条件：statement 2？statement 3））データサイズは数千万行にもなります私の要件に合わせてUDFを作成することに努力しています。パフォーマンス上の問題が発生した

1熱

1答えて

Pig UDF Throw NullPointerExceptionが新しいタプルを生成するとき

私はいくつかのデータを取り込み、そのデータを最小限の方法で変換しようとするPig UDFを持っています。 my_data = LOAD 'path/to/data' USING SomeCustomLoader(); my_other_data = FOREACH my_data GENERATE MyUDF(COL_1, COL_2, $param1, $param2) as output;

3熱

2答えて

豚にUDFを作成して別のフィールドと列を分類する方法

ブタのUDFを使用して他の列に対して1つの列を分類したいと考えています。私は Id,name,age 1,jhon,31 2,adi,15 3,sam,25 4,lina,28 の予想される出力 1,jhon,31,30-35 2,adi,15,10-15 3,sam,25,20-25 4,lina,28,25-30 を持ってデータは、あなたがUDFせずにこれを行うことがで

-1熱

1答えて

pythonでpigutilからoutputSchemaをインポートできません

これはかなり基本的な質問かもしれませんが、私は豚とPythonの領域には新しいです。 pigutilからoutputSchemaをインポートしようとしています。 outputSchemaはPythonのUDFの内部で、次のように使用されている： - @outputSchema('HistorySchema:bag{t:(SomeKey:int,ScdColumnNew:chararray,ScdC

0熱

1答えて

ブタでUDFを使用中にエラー1070を取得する

ブタスクリプトの実行中にエラー2017-10-29 03:34:22,212 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1200: <line 6, column 13> Syntax error, unexpected symbol at or near ''/home/harsh/Hunny/HadoopPractice/Pig

0熱

1答えて

Pigはキー変更列を生成します - 前のレコードと現在のレコードが異なる列を比較します

私の入力データは以下の形式になります。 col1 col2 col3 effective date expiry date 1 Q1 A1 Value1 01/01 01/02 2 Q1 A1 Value1 01/02 01/03 3 Q1 A1 Value1 01/03 01/05 4 Q1 A1 Value2 01/05 01/06 5 Q1 A1 Valu

0熱

1答えて

Pig Udfsを使用してPDFファイルを分割できますか？

私は100のpdfを持っていますが、各pdfには40ページあります。つまり、処理されません。実際、私たちは豚Udfを使用しようとしているのですか？私たちはPig Udfを使ってPDFファイルを分割できますか？

0熱

1答えて

PigがUDFオブジェクトをインスタンス化する方法

PigがUDFオブジェクトをインスタンス化する方法を教えてください。 Pigを使ってデータを処理するパイプラインを構築しました。私はマルチノードHadoopクラスタにパイプラインを導入しました。そして、パイプラインの各ステップの後に生成されるすべての中間結果を保存します。そこで私は初期化時にHTTP接続を開き、データをexecに送信するJavaでUDFを書いた。また、オブジェクトのfinalize