apache-tez

7熱

1答えて

サハらから Tez paperにおいては、TEZとHadoopの2次のモジュラーアーキテクチャが示されている：なぜ誰かがTEZにスパーク/ FLINKを実行しますか？利点は何ですか？ YARNの使用効率を改善しますか？

2熱

2答えて

What is hive, Is it a database?を読んだ後、同僚は昨日、15Bのテーブルをフィルタリングし、「グループ化」を行った後に別のテーブルに参加することができたと言いました。 Sparkではこれが遅くなるのだろうかと思っています。DataFramesで比較できるかもしれませんが、私は確信が持てません。ハイブはスパークよりも高速ですか？あるいは、この質問には意味がありませんか

1熱

1答えて

HIVEのInputInitializerManagerエラーTEZの作成に失敗しました

Apache Tez 0.8.1、Hadoopバージョン2.7.0およびHiveバージョン2.01をインストールしました。マップの縮小ジョブを正常に実行できました。単純なカウントクエリを実行すると、以下のエラーが返されました。エラーが発生しましたが、jarファイルを検索しようとしています。クラスパスにjarファイルを配置しましたが、エラーは解決しませんでした。この問題を解決するのに手伝ってくださ

0熱

1答えて

Hiveで返されるすべてのレコードに定数値を動的に追加する方法はありますか？

Hive v1.2.1で次のクエリを実行したいところです。field_3が別のテーブルから照会されています。返されたすべてのレコードに対して select user_id, start_date, field_3 as stop_date from some_table; 、field_3の値が同じです。問題は、それが別のテーブルに格納されていることです。その価値を得るために、私は以下のよう

3熱

1答えて

ハイブクエリプランの理解

私は、クエリとそれに関連するquery and query plan（gist参照）をシミュレートされたデータ用に持っています。テーブルlte_data_tenmillionの行数は、行の両方の表のいずれもSUBSCRIBER_ID列のNULL値を持っていないため、テーブル、加入者データの行数が100000 ある10000000 あります。クエリプランで、述語：subscriber_idがnu

0熱

1答えて

TEZを使用してハイブORCテーブルにデータを挿入する際に小さなファイルを作成する方法

私はいくつかのオプションを試しましたが、小さなファイルを以下のような大きなファイルにマージする設定を見ただけです。サイズ150kb。 set hive.merge.tezfiles=true; set hive.merge.smallfiles.avgsize=128000; set hive.merge.size.per.task=128000;

0熱

1答えて

ハイブは関数と一緒に使用すると値を返しません

ハイブシェルに奇妙な問題があります。 Apacheのオリジナルパッケージを使ってHadoopシステムを作成しました。私はtezを使用します。システムをテストするために、NYのタクシーデータを問題なくハイブにロードしました。データセットには約1100万本の回線があります。私がハイブシェルのステムを選択すると、それは動作しています。私はこの select count(*) from yellow;

0熱

1答えて

TEZ - DAGAppMaster - java.lang.IllegalArgumentExceptionが：無効なContainerIDの

私はMapReduceのジョブを起動しようとしますが、シェルまたはハイブ内のジョブをexcutingながら、私はエラーを取得する：ハイブ> SELECT COUNT（* ）従業員から; で決定削減タスクの1数のうち、クエリID = mapr_20171107135114_a574713d-7d69-45e1-aa73-d4de07a3059b総雇用= 1回の発射仕事を1時間をコンパイル：1（バ

2熱

1答えて

HIve2 with Tez実行エラーを与える

TezでHive2を使用しています。クエリを実行すると、以下に示す実行エラーが発生します。 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask ERROR [432a4475-d246-4596-ad4c-54de6fea86c8 main] exec.Task: Fail

2熱

1答えて

Hive-Tezのログを減らす

Hive-Tezでクエリを実行した後でMap-Reduceログの解釈を取得したいですか？ INFOの後の行は何を伝えていますか？ここで私はあなたが投稿したログは、DAGの実行ログでサンプル INFO : Session is already open INFO : Dag name: SELECT a.Model...) INFO : Tez session was closed. Reop