tez

0熱

1答えて

私はHortonworksのサンドボックスVMを使用してHadoopサービスを実行しています。私はTezモードでフィルタスクリプトを実行しました。 Hiveとは異なり、Pigログ（コンソール）には、実行中のマッパー数&の数に関する情報は表示されません。私は間違った場所を見ていますか？

1熱

2答えて

ハイブクエリBlockMissingException

TEZとMapReduceの両方の実行エンジンに問題があります。どちらも許可に関連しているように見えますが、私の人生のために、私は失われています。私はTEZを通してそれを実行すると私はこのメッセージが表示されます。 org.apache.hadoop.hdfs.BlockMissingException： BP-300459168-127.0.1.1-1478287363661：blk_1073

1熱

1答えて

外部テーブルに挿入できます

私の会社の生産環境でビッグデータコードをデバッグしています。 Exception: org.apache.hadoop.hive.ql.lockmgr.LockException: No record of lock could be found, may have timed out Killing DAG... Execution has failed. Exception in thr

0熱

2答えて

ハイブ

でTEZ MapReduceの実行エンジンVS実行エンジン何TEZエンジンと地図との違いは、ハイブにエンジンを削減して、使用することをお勧めしているエンジンのプロセス（例えばのため：？、集約に参加する）

0熱

1答えて

ハイブ2.1が正しく評価されないNULLマップ

ハイブ2.1のNULLマップをチェックするための回避策を探しています。マップの中のキーをチェックしているとき、正しい結果が得られます。ここで私は評価しても結果しようとしているものです： hive> select request_params, request_params is null, request_params['id'], request_params['id'] is null fro

0熱

1答えて

tezビルドエラー - シャッフルハンドラー

Hadoop 2.6.0-cdh5.10.0に基づいてTez-0.8.4をインストールしています。このエラーが発生しました。 mavenを使ってTezソースをビルドしようとしたときに助けてください。 /apache-tez-0.8.4-src/tez-ext-service-tests/src/test/java/org/apache/tez/shufflehandler/ShuffleHand

0熱

1答えて

TezのHiveは、Spark 2で動作しません

spark 1.6.2でHDP 2.5を使用する場合、HiveをTezとともに使用して実行エンジンとして動作させました。しかし、私たちが火花2.1.0でHDP 2.6に移動したときに、ハイブは、その実行エンジンとしてTEZでは動作しませんでした、とDataFrame.saveAsTable APIが呼び出されたときに次の例外がスローされた： java.lang.NoClassDefFoundEr

4熱

1答えて

メタデータをクエリするためにハイブをチューニングする方法は？

パーティション化された特定の列を持つテーブルに対して以下のハイブクエリを実行している場合は、ハイブが完全なテーブルスキャンを行わず、メタデータ自体の結果を把握していることを確認します。これを有効にする方法はありますか？今 Select max(partitioned_col) from hive_table ; 、私はこのクエリを実行しているとき、その打ち上げのマップには、作業を軽減し、私はそ

0熱

1答えて

ハイブは、HDFSのフェデレーションに

ハイブバージョンをサポートしていませんapacheのhive-2.1.0 TEZバージョンである私はtez.lib.uris=viewfs://nsX/nameservice/hive/lib/tez-0.8.4-zdh7.1.1-SNAPSHOT-minimal.tar.gz 私はハイブにTEZジョブを実行すると、それは常に問題 2017-03-23T15:26:24,255 INFO clie

0熱

1答えて

salesforceからデータを抽出する際に1つのマップタスク

Datameer（Rapid ETL/BIツール、ハープトップの上に位置する）で複数の抽出ジョブがsalesforceオブジェクトからデータを読み取ります。最大の抽出は1.4GB（タスクオブジェクト）で、最小の抽出は96MB（アカウントオブジェクト）です。 DatameerはREST APIベースのコネクタを使用し、コネクタにSOQLクエリが提供され、レコードがそれに応じてフェッチされます（htt