apache-pig

4熱

1答えて

私は、ログ処理にPIG latinを使用しています。なぜなら、データがハープクラスター全体をセットアップすることを心配するほど十分ではないという問題の表現力です。私はローカルモードでPIGを実行していますが、使用可能なすべてのコア（現時点では16）を使用していないと考えています.CPUを監視すると、最大200％のCPU使用率が示されます。ローカル実行用にPIGを微調整するためのチュートリアルや推

4熱

6答えて

ファイルへのパスを必要とするコンストラクタがある場合、それがjarファイルにパッケージ化されている場合、どうすれば "偽"できますか？

この質問の文脈は、私が書いた豚のスクリプトでmaxmind java apiを使用しようとしていることです。しかし、どちらかについて知っていることが質問に答える必要があるとは思いません。 maxmind APIには、GeoIP.datというファイルへのパスが必要なコンストラクタがあります。これは、必要な情報を持つカンマ区切りのファイルです。私は、APIを含むjarファイルとクラスをインスタンス化

3熱

2答えて

PIGをHadoopで使用すると、不完全な数のグループとテキストの部分を正規表現するにはどうすればよいですか？

私はAmazonの弾性マップを使っています。私は「foo」で式の中のすべての数字を選び出すために豚の式を書くことができますどのようにこの random text foo="1" more random text foo="2" more text notamatch="5" noise foo="1" blah blah blah foo="1" blah blah foo=

3熱

1答えて

piggybankをビルドすることができません - >/home/build/ivy/libは存在しません

こんにちは私はここにステップを踏んだ：http://wiki.apache.org/pig/PiggyBank piggybank jarを構築するのに、ここ [email protected]:~/piggybank/java$ ./makepiggy.sh Buildfile: /home/cloudera/piggybank/java/build.xml download-hive-d

1熱

1答えて

カサンドラの豚の挿入例外

私はカサンドラにセットビッグデータを挿入するために豚CassandraStroage（）を使用しています、4時間を実行した後、それは以下の例外を除いて墜落： java.lang.NullPointerException at org.apache.cassandra.dht.RandomPartitioner.getToken(RandomPartitioner.java:134)

1熱

2答えて

Pigのリレーションからカスタムスキーマを生成する方法は？

私はさまざまな記事の単語のtf-idf値を記述するスキーマを持っています。その説明は次のようになります。ここでは tfidf_relation: {word: chararray,id: bytearray,tfidf: double} は、このようなデータの例である： (cat,article_one,0.13515503603605478) (cat,article_two,0.405

11熱

5答えて

Pigの結果をデータベースにエクスポートする方法

Pigの結果をmysqlのようなデータベースに直接エクスポートする方法はありますか？

6熱

1答えて

Hiveに保存されているデータに対してPigクエリを実行する

Hiveフォーマットで保存されたPigクエリを実行する方法を知りたいと思います。圧縮データを格納するようにHiveを構成しました（このチュートリアルhttp://wiki.apache.org/hadoop/Hive/CompressedStorageを使用しています）。以前は、Hiveのデリミタ（^ A）で普通のPigロード機能を使用していました。しかし、Hiveはデータを圧縮してシーケンスフ

1熱

2答えて

豚のバージョンの不一致（Hadoop）

誰も以前にこの問題に会ったことがありますか？これはエラーログです：プロトコルorg.apache.hadoop.mapred.JobSubmissionProtocolバージョンミスマッチです。（クライアント= 20、サーバー= 21）私はブタ0.8.0を使用し、私のハーフープバージョンは0.20.10です。誰かが私を助けることができれば感謝します。

1熱

1答えて

LoadFunc.getNext（）内のレコードをスキップします。

LoadFuncを拡張しています。 getNext関数では、特定の条件の下でタプルを返すのをスキップしたいと思います。この方法では、データファイルのサンプルのみを読み込むことができます。私は戻ってほしくない行のnullを返そうとしましたが、最初のnullタプルが返された後にメソッドが終了するという問題があります。これを行う方法を知っている人はいますか？私は別の方法でそれを行うべきですか？ありが