apache-pig

0熱

1答えて

Apacheの豚は、私が同じスキーマに付着した私のコンテンツを含む、以下のフォルダ構造を持つ複数のファイルに

をロード - /project/20160101/part-v121 /project/20160105/part-v121 /project/20160102/part-v121 /project/20170104/part-v121 私は&プロセスに個々のファイルをロードするためにJSONLoaderを使用して豚のスクリプトを実装しています。しかし、私はそれを日付のフォルダの下にある

0熱

1答えて

豚 - 以下のように似ている、私はそれで.csvファイルやデータを持っているコンマ

で二重引用符で囲まれ、区切られたフィールドを持つCSVファイルをロードする方法：私はPIGにこのデータをロードすると 001, 4567, 7012, “x,y,z”, abc, pqr, 56 002, 3456, 5457, “t,f,q”, str, whg, 78 003, 6782, 4562, “h,s,w”, uij, edc, 39 004, 2348, 2673, “k,g

2熱

2答えて

ブタにダンプを実行できません

リレーションをダンプしようとしましたが、次のエラーが発生しました。 start-all.shを試してみましたが、hadoop namenode -formatを使って書式設定の名前を試しました。しかし、私は何が間違っているのか分かりません。 Error:- Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFix

0熱

1答えて

トランスポーズ

私は name,gender,salary,city -- header John,male,4000,NY どのように私は豚の行に列を転置することができ、以下のように入力がありますか？私は以下のような出力が必要です。 name,field1,value John,gender,male John,salary,4000 John,city,NY はハイブでは、私はマップを作成する

0熱

1答えて

豚は私がの除去に渡さcurrent_tsまたはタイムスタンプに変換しようとしている豚のスクリプトに渡されたタイムスタンプを変換して置き換える機能に

REPLACE(ToDate('$current__ts', 'yyyy-MM-dd HH:mm:ss'),'-','') as new_DT, を使用して - YYYY-MM-DDの間をその出力はYYYYMMDD HHする必要があります：ミリメートル：ss しかし、私はエラーを受け取ります： org.apache.pig.builtin.REPLACEの一致関数を複数のものとして、あるいはど

-1熱

1答えて

PigまたはHiveを使用して、RDBMSのネストされたSQLクエリをHadoopフレームワークに変更するにはどうすればよいですか？

ハイブを使用してRDBMSのネストされたSQLクエリをHadoopフレームワークに変更するにはどうすればよいですか？

-1熱

1答えて

次のスクリプトと比較して、データがテキストファイルにどのように格納されるべきかを知りたいですか？

私は次のスクリプトに関連して私のデータがテキストファイルであるべきであることを知りたいですか？豚は次のスクリプトの区切り文字をどのように区別しますか？サンプルを1行入力してください。まず A = LOAD 'mydata.txt' AS (P:int, T1:tuple(f1:int, f2:int), B:{T2:(t1:int,t2:int)}, M:[]);

-1熱

1答えて

ブタの単一タプルから複数のタプルを作成するにはどうすればよいですか？

私はブタに '5060-5070'のような列を持っており、以下のようにタプルを返すudfを書いています。 col1とcol2はすべてのタプルで同じになります。 COL1、col2,5060、... COL1、col2,5061、.. COL1、col2,5062、.. または任意の代替が存在する場合（代わりにudfを使用して）単一のタプルから複数のタプルを作成します。

0熱

1答えて

豚のパフォーマンスを測定する方法

私はブタの値の割合を計算するのと同じ仕事をする2つのスクリプトに出くわしました。 SCRIPT1 total = FOREACH (GROUP A ALL) GENERATE COUNT(A); rows = FOREACH (GROUP A by $0) GENERATE group as colname, COUNT(A) as cnt; fractions = FOREACH rows