apache-pig

1熱

1答えて

小さなクラスタでハープ豚をテストしました。私は、豚を使ってperl、python、シェルスクリプト、さらにはjarファイルを流すことに成功しましたが、cバイナリは使用していません！私はちょうどC で簡単なHello Worldのプログラムを構築し、テストとして、それをコンパイルし、ubuntu11.04とグラム下./test使用してそれを実行する++コンパイラは、最新のものです。プログラム

1熱

1答えて

Hadoop Pigでグループ化するときに、グループ化された値の文字列の衝突を検出して処理することは可能ですか？私は、ユーザー名と自分の好きな果物を示し、次のようなデータのラインを持っていると仮定すると

は： Alice\tApple Bob\tApple Charlie\tGuava Alice\tOrange 私は、各ユーザの好みのフルーツを示し豚のクエリを作成したいと思います。ユーザーが複数回出現する場合、「複数」を表示したいと考えています。例えば、上記のデータと結果は次のようになります。（それは必然的に非常にうまく機能しないだろうが）SQLでは Alice\tMultiple

6熱

1答えて

PIG：私は私はそれで単語を見つけることによって、データをフィルタリングする必要があるで豚の仕事をしている単語

に基づいて文字列をフィルタリングし、ここでは、スニペット A = LOAD '/home/user/filename' USING PigStorage(','); B = FOREACH A GENERATE $27,$38; C = FILTER B BY ($1 == '*Word*'); STORE C INTO '/home/user/out1' USING PigStorage

1熱

1答えて

結合されたセットを反復処理した後、PIGエラー1066。

月の日数と年月キーのデータセットを持つ1つのセットに参加しようとしています。私が参加してセットをFOREACHしようとすると、エラーが発生します：1066 ...バックエンドエラー：スカラには出力に複数の行があります。 $ hadoop fs -cat DIM/\* 2011,01,31 2011,02,28 2011,03,31 2011,04,30 2011,05,31 2011,

2熱

2答えて

豚jythonスクリプトにパラメータを渡す

豚スクリプトをPythonに埋め込むことを検討していますが、いくつかのパラメータをPythonスクリプトに渡す必要があります。豚スクリプトを直接呼び出すと、$PIGDIR/bin/pig -f $SCRIPT_DIR/../pig/score_cert_messages.pig -param libDir=DYNAMIC_STRINGとlibDirが正しくバインドされています。私のpython

11熱

1答えて

PIGのCOGROUPに参加する

豚にJOINの代わりにCOGROUPを使用すると、利点はありますか？ http://developer.yahoo.com/hadoop/tutorial/module6.htmlは出力の種類の違いについて話しています。しかし、 "出力スキーマ"を無視すると、パフォーマンスに大きな違いはありますか？

5熱

1答えて

HadoopでPigを使用するときに "DataStorageの作成に失敗しました"というエラーが発生しました

Apache Hadoop 0.20.203.0を使用してPig 0.9.0を実行しようとしました。私はグーグルとメーリングリスト、そしてこの質問さえも上と下に見えました：しかし、私はグランント、ブタのシェルをクラスタセットアップで動かすことができません（私はローカルモードでプロンプトをうまく動かすことができます、もちろん）。 hadoopを使わずに再コンパイルし、hadoopライブラリとpig-

4熱

1答えて

loadfuncブタを使ってprotobuf形式のファイルをブタスクリプトに読み込むUDF

私はブタに関する知識はほとんど持っていません。私はprotobuf形式のデータファイルを持っています。このファイルを豚のスクリプトに読み込む必要があります。ロードするためには、LoadFunc UDFを記述する必要があります。関数がProtobufloader()であるとします。私PIGスクリプトは次のようになり A = LOAD 'abc_protobuf.dat' USING Protobu

0熱

1答えて

豚を使用してパスワードで保護されたcassandraに接続する方法

私はpassword.propertiesファイルにユーザ名とパスワードを設定したcassandraクラスタを持っていますが、このクラスタにデータを読み書きする方法はわかりません。パスワードがなければ、機能は正常です。助けが必要ですか？

5熱

6答えて

PIG FILTERでIN句を使用する

PIGはIN句をサポートしていますか？ filtered = FILTER bba BY reason not in ('a','b','c','d'); 複数のORに分割する必要がありますか？ありがとうございます！ [いいえ、豚は句でサポートされていない使用してAND/OR/NOT