apache-pig

1熱

2答えて

私は register s3n://uw-cse344-code/myudfs.jar -- load the test file into Pig --raw = LOAD 's3n://uw-cse344-test/cse344-test-file' USING TextLoader as (line:chararray); -- later you will load to other

0熱

1答えて

コンパイル豚銀行のUDFエラー

ビルドファイル：C：私の\作業を\ \ PigBank \のcontrib \貯金箱\ Javaの\ build.xmlの init: compile: [echo] *** Compiling Pig UDFs *** [javac] Compiling 159 source files to C:\my\work\PigBank\contrib\piggybank\ja

0熱

2答えて

hadoop -archivesと似た方法でアーカイブされたファイルを出荷する方法はありますか

hadoopでjava mapreduceジョブを実行する場合は、-archivesオプションを指定してジョブと共にアップロードするアーカイブファイルを選択し、自動的にアーカイブされないようにして、コードがそれらのファイルにアクセスできるようにします。 Pigに相当するものはありますか？ライブラリを使用するUDFを作成しています（ソースコードにアクセスできない）。このライブラリには、内部にいくつ

0熱

2答えて

CDH3でのブタのソースコードVmware image

私はcloudera cdh3のvmwareイメージを使用してプロンプトからブタスクリプトを実行しています。私はubuntuのソースコードを見ようとしています。私はいくつかの演算子をソースコードに追加しようとしています。ですから、POPackage.java、POLocalrearrange.javaなどのファイルを見たいと思います。誰かがディレクトリ階層の画像のソースディレクトリを指摘できますか

1熱

1答えて

Hazard/PIGでgzipデータを圧縮/解凍するのは透明ですか？

Hadoopには圧縮と解凍のサポートが組み込まれていますが、これはマッパー出力（いくつかのプロパティを設定）に関するものですね。圧縮データの読み込みや圧縮データの出力に使用できる特定のPIGロード/ストア関数があるのでしょうか？

6熱

1答えて

エイリアスからすべての行のフィールドの合計を計算する方法

私がしたいのは、エイリアス内のすべての行のフィールドの値を合計することです。これは単純でなければならないが、何とか私は答えを見つけることができない。これはおそらく、PIGがデータセットを処理している間に私が望むのはスカラー値なのでしょうか？私は合計であるフィールドを持つ行を作成することができると思いますか？お知らせ下さい！

2熱

1答えて

PIGストア機能：特定のフィールドのみを格納できますか？

私は、HDFSに特定のフィールドを格納する必要があるユースケースがあります。私は、関心のある分野を保存するためにforeachなどを行うことができることは知っていますが、Store関数でこれが実行可能かどうかは疑問です。

1熱

1答えて

javaとgruntによるPIGスクリプトの実行

どうにか私は豚のスクリプトを実行するためにgruntシェルを使用すると問題なく動作しますが、javaモードを試してみると "何か失敗しました"というエラーが表示されます。兵卒モードコマンドは、 "豚-xのMapReduce test1.pig" である Javaモードコマンドがある "Javaの-cp $ PIGDIR /豚-0.9.2.jar：$ HADOOP_CONF_DIR test1.p

2熱

1答えて

apache pig Java UDF - 属性値の変更がスティックしないようです

私は、Java UDFを使用してバッグ内のタプルをランク付けするJava UDFを作成しようとしています。タプルには、ランク付けの基準となる値列と、最初に0に設定されたランク列があります。タプルは、値列に基づいてソートされます。すべてのタプルはバッグに入れられ、そのバッグはUDFに渡される新しいタプルの内側に配置されます。 UDFはランク列を変更していますが、メソッドが終了すると値はすべて0

2熱

1答えて

Javaを使用してEmbeddedPigを実行しているときに、PigスクリプトでORDER BYジョブが失敗しました

私は以下のブタスクリプトを用意しています。ただし、Java EmbeddedPigを使用して同じスクリプトを実行した場合、最後のジョブ（ORDER BY）は失敗しました。 ORDER BYジョブをGROUPやFOREACH GENERATEなどの他の人に置き換えた場合、スクリプト全体がJava EmbeddedPigに成功しました。だから私は問題を引き起こすORDER BYだと思う。誰でもこれにつ