tez

0熱

1答えて

Tezに別のHDFSバックエンドをサポートするライブラリを追加するにはどうしたらいいですか？

MapReduceをHiveの背後にある実行エンジンとして使用すると、私はdefaultFS.implに代替バックエンドを使用することができます。似た構文を使用： LOCATION 'protocol://address:port/dir'; 私が代わりのMapReduceのTEZ実行エンジンを使用したいのですが、TEZを認識するためには、私のシムライブラリ（jarファイル）を追加する場所を把握す

0熱

1答えて

はTEZ実行エンジンとハイブにファイルシステムを追加

外部ORCテーブルに対してTEZ実行エンジンにクエリを実行するときに、私は次のエラーが表示されます Vertex failed, vertexName=Map 6, vertexId=vertex_1504790331090_0008_1_01, diagnostics=[Vertex vertex_1504790331090_0008_1_01 [Map 6] killed/failed due

0熱

1答えて

糸のコンテナのサイズとTezコンテナの管理

私は約15 TBの糸資源を持つクラスターを持っています。私はハイブを通してクエリを送信しようとしています。私のデフォルトコンテナサイズは4GBです。そのクエリで割り当てられるマッパーの数は約1000です。私は糸キューに合計10％のリソースが割り当てられています。したがって、単一の時点では430のコンテナしか割り当てられません。各マッパーには合計1個のコンテナが割り当てられます。 HDFSのブロック

0熱

1答えて

各マッパーが実行するタスク

私は複数の結合を持つSQLを持っています。 2017-12-28 05:15:53,140 Map 1: 15/15 Map 6: 9/9 Map 7: 29/29 Map 8: 198(+2)/200 Map 9: 1/1 Reducer 2: 1/1 Reducer 3: 0(+1)/1 Reducer 4: 0(+3)/3 Reducer 5: 0(+11)/11 上記は、過去数時間にわ

0熱

1答えて

TEZ - DAGAppMaster - java.lang.IllegalArgumentExceptionが：無効なContainerIDの

私はMapReduceのジョブを起動しようとしますが、シェルまたはハイブ内のジョブをexcutingながら、私はエラーを取得する：ハイブ> SELECT COUNT（* ）従業員から; で決定削減タスクの1数のうち、クエリID = mapr_20171107135114_a574713d-7d69-45e1-aa73-d4de07a3059b総雇用= 1回の発射仕事を1時間をコンパイル：1（バ

0熱

1答えて

インパラ2.7はTEZ

私はすべての演算子組合の番号を使用しているクエリを使用して、寄木細工の保存形式に分割ハイブテーブルを移入していてハイブから作成された寄木細工のテーブルからデータを読み取ることができません。クエリーはTezを使用して実行されます。デフォルト設定では、複数のTezライターが並行してHDFS構造を作成します。ここでは、パーケットファイルはパーティションフォルダの下に（フォルダ名のTezライターIDを使用

0熱

2答えて

ハイブの参加に時間がかかりすぎるのはなぜですか？

は、私は基本的にこのように書き、コードを実行しています：表2のレコードのTABLE1内のレコードの Create table abc as select A.* from table1 A Left outer join table2 B on A.col1=B.col1 and A.col2=B.col2; 番号= 7009102 番号= 1787493 私は私のスクリプトが、私

-1熱

1答えて

スパークSQLハイブの目的は何ですか？

私は質問が何年も前に尋ねられたことは知っていますが、私はSparkSQL/HiveContextを使用する真の目的がまだ不思議です。スパークアプローチは、組み込みのMapReduceより一般的な分散方法を提供します。私はMR方法がすでに死んでいると主張している多くの記事を読んでおり、Sparkが最高です（私はSparkを通じてMRアプローチを実装できると理解しています）。 HiveContex