HIVE-SQOOPベースのバッチジョブの例外、エラー、ログの取得方法は？

Question

私は、6データノードと1 namenodeを持つHadoopクラスタを持っています。毎日稼働するHIVEには（4）のジョブはほとんどなく、sqoopを使ってログファイルからOLPTデータベースにデータをプッシュします。私は環境にぬっこをインストールしていません。すべてがHIVEスクリプトファイル（.sqlファイル）で書かれており、私はそれらをUNIXスクリプト（.shファイル）から実行します。それらのシェルスクリプトファイルは、異なる時間にそれらを実行するために、異なるOSのcronジョブでアタッチされます。

今の要件はこれです：

が日常的に個別に各ジョブのログ/ステータスを生成します。これらのログを調べると、どのジョブが正常に実行され、実行に時間がかかったのか、そのジョブが失敗したジョブをダンプ/スタックすることができます（機能計画は、メールサーバーとすべての失敗または成功のジョブシェルスクリプトは、それらのログ/ステータスファイルを添付してそれぞれのスタック所有者にメールを送信します）

私の問題は、これらのバッチジョブ/シェルスクリプトまた実行時間とともに成功ログを生成する方法は？

出力をリダイレクトすることによってHIVEに実行される各クエリの出力をテキストファイルで取得しようとしましたが、それは動作しません。例えば

：

Select * from staging_table;>>output.txt 

は一日一日に基づき、一人ひとりHIVEジョブのHIVEログを構成することによって、これを行う方法はありますか？

いずれかがこの問題に直面した場合は教えてください。どうすれば解決できますか？

Answer 1

Select * from staging_table;>>output.txt 

このオプションは、このオプションを探している場合は出力をリダイレクトしています。次にコンソールからの出力です。

hive -e 'Select * from staging_table' > /home/user/output.txt 

これは単に出力をリダイレクトします。ジョブ固有のログ情報は表示されません。中に

：

しかし、私はあなたがthis

結果のログファイルの場所を参照してください。ログの特定のアプリケーション（ジョブ）を参照してください期待している場合は、糸上で実行されていると仮定しています実行時間にはすべてのコンテナログが表示されます

UIを使用すると、ジョブレベルとタスクレベルのログが表示されます。

他の方法は、コマンドラインからアプリケーション/ジョブ固有のログを調べてダンプすることです。

yarn logs -applicationId your_application_id 

yarn logs -applicationId <application_id>メソッドを使用することをお勧めしますが、ログ集約を最初に有効にする必要があります。 Also see much better explanation here