apache-pig

15熱

4答えて

Apache Pig11.1.1をHadoop 2.0.5で実行しています。私が豚で走るほとんどの簡単な仕事は、完璧にうまく動作します。しかし、私は大規模なデータセット、またはLIMITのオペレータにGROUP BYを使用しようとするたびに、私はこれらの接続エラーを取得： 2013-07-29 13:24:08,591 [main] INFO org.apache.hadoop.mapred.

12熱

5答えて

列のサブセットでPig LatinでDISTINCTを実行するにはどうすればいいですか？

私は列のサブセットに対してDISTINCT操作を実行したいと思います。は、ネストされたforeachを使用してこれが可能であると示しています。フィールドのサブセットでDISTINCTを使用することはできません。これを行うには、FOREACHとネストされたブロックを使用して最初にフィールドを選択し、DISTINCTを適用します（例：ネストされたブロックを参照）。すべての列にDISTINCT操

6熱

1答えて

Hadoop Pigカウント数

現在、Hadoop Pigの使い方を学んでいます。私はこのような入力ファイルがある場合： a,b,c,true s,c,v,false a,s,b,true ... を最後のフィールドは、私はカウントする必要があるものです...だから私は、このファイルにどのように多くの「真」知りたいと「偽の」。私が試してみてください。 records = LOAD 'test/input.csv'

8熱

1答えて

豚にハイパーテーブルを使用する

2つのParquetファイルを含むフォルダに文字列、文字列、doubleのハイブテーブルを作成しようとしています。最初の一節ファイルのスキーマは文字列、文字列、doubleであり、2番目のファイルのスキーマは文字列、double、文字列です。 CREATE EXTERNAL TABLE dynschema ( trans_date string, currency string, rate d

7熱

2答えて

HadoopとStata

StataとHadoopを使っている人はいますか？ Stata 13には今度はJava Plugin APIがあるので、素敵なプレイをするのは簡単なことだと思います。特に私は、ウェブログデータを解析して統計分析に適した形式にすることに興味があります。この質問は最近on Statalistに届きましたが、回答がありませんでしたので、この技術を体験したほうが視聴者の方が多いと思います。

6熱

2答えて

Junit外部リソース@Rule Order

テストクラスで複数の外部リソースを使用したいが、外部リソースの順序付けに問題がある。 public class TestPigExternalResource { // hadoop external resource, this should start first @Rule public HadoopSingleNodeCluster cluster = ne

5熱

2答えて

Pig：外部スキーマファイルを使用してデータファイルをロードする

データファイルと対応するスキーマファイルを別々の場所に格納しています。スキーマファイル内のスキーマを使用してデータをロードしたいとします。お試しください。 A= LOAD '<file path>' USING PigStorage('\u0001') as '<schema-file path>' エラーが発生します。ファイルを正しく読み込むための構文は何ですか？ data1 - com

5熱

7答えて

Hadoopを使用するためのGUI

コマンドライン以外でHadoopを使用する簡単な方法はありますか？どのツールを使用していて、どちらが最適ですか？

8熱

3答えて

Pigでグループを1つのタプルにまとめるには？このことから

： (1, {(1,2), (1,3), (1,4)}) (2, {(2,5), (2,6), (2,7)}) ...我々はこれを生成する可能性がどのように？ ((1,2),(1,3),(1,4)) ((2,5),(2,6),(2,7)) ...これをどのように生成できますか？ (1, 2, 3, 4) (2, 5, 6, 7) 私は方法を知っています。問題は、多くの行を繰り返し

5熱

1答えて

$ HIVE_HOME/bin/hive - サービスハイブサーバ

私はHaveを初めて使用しています/ hive.iは、ハイブをコマンドプロンプトとして使用しているときにhadoopとhive.itを正しくインストールしましたが、ハイブのJDBCを実装する予定です次のコマンドを入力し hive>$HIVE_HOME/bin/hive --service hiveserver その後...エラーがそうplsはplsは誰も私を助けてハイブのJDBCを実装する方法