Amazon EMR/S3の出力を確認する方法は？

Question

私はAmazonサービスを初めて利用し、Amazon EMRでアプリケーションを実行しようとしました。 >いくつかのファイルで、ハイブのロードデータステートメントをテーブルを作成して、コマンドから選択* - 含まれているハイブスクリプトを作成し

1）：

は、そのために私は手順としては続いています。

2）S3バケットを作成しました。そして、私はそのオブジェクトを次のようにロードします：ハイブスクリプト、テーブルにロードするファイル。

3）次に、ジョブフロー（サンプルハイブプログラムを使用）を作成しました。入力、出力、およびスクリプトのパス（s3n：//bucketname/script.q、s3n：//bucketname/input.txt、s3n：// bucketname/out /など）を指定します。ディレクトリを作成しませんでした。私はそれが自動的に作成されると思う。

4）その後、ジョブフローの実行が開始され、しばらくしてSTARTING、BOOTSTRAPING、RUNNING、SHUT DOWNと表示されました。

5）シャットダウン状態では、自動的にシャットダウンし、シャットダウンのFAILES状態を示します。

S3で、私はoutディレクトリを見ませんでした。出力を見るには？デーモン、ノードなどのディレクトリを見ました......

また、Amazon EMRのHDFSからのデータの表示方法は？それは、何かがあなたのハイブのスクリプトで間違っていたしない場合

：

Answer 1

手順3で指定した出力パスは、あなたの結果が含まれている必要があります（// bucketname /アウト/あなたの説明から、それはS3Nです） 。 Hiveジョブが失敗した場合、失敗/例外に関する情報がjobtrackerログに記録されます。 jobtrackerログが<s3 log location>/daemons/<master instance name>/hadoop-hadoop-jobtracker-<some Amazon internal IP>.logの下にあります

ログディレクトリの1つのファイルに上記の形式のS3キーがあります。このファイルには、発生した可能性のある例外がすべて含まれます。おそらく、ファイルの下端に集中したいと思うでしょう。