emr

-3熱

1答えて

S3のファイルからAmazon EMR/Sparkを使用して並列クラスタリングを実行する方法

1000次元空間に200,000ポイントあります。 sc.textFileを使用してこれらのポイントをすべて読み込み、各ポイント間の距離を徹底的に計算した場合、どのように並列化できますか？ Sparkは自動的に私の仕事を並列化しますか？

0熱

2答えて

MRJobは、インライン、ローカル、emr、またはハーフープを実行しているかどうかを確認します

私はMRJobを使用してEMRでbuilding on some old code from a few years back using the commoncrawl datasetです。 self.options.runner == 'emr' これはどちらか働いたことはないように思われなかったり、もはやself.options.runnerがタスクに渡されていない、動作します：コードは

0熱

1答えて

MRJobを使用してEMRクラスタにジョブを送信

MRJobは、各ジョブが完了するまで待機してから、ユーザーに制御を戻します。大きなEMRのステップを小さなものに分割し、それらをすべてワンショットで提出したいと思います。ドキュメントはprogrammatically submitting tasksについて話しますが、サンプルコードでは、ジョブの完了を待っています（runner.run（）コマンドはblocks until the job is

0熱

1答えて

プログラム "-files"（ディレクトリ "。"）を実行できません：error = 2、そのようなファイルまたはディレクトリなし

hadoopを使用するAmazon ElasticMapReduceサービスのaws sdk rubyを使用してステップを実行しようとしています。クラスタおよびステップは、ステップは常に失敗しますが、Webインターフェイス emr = Aws::EMR::Client.new cluster_id = "*******" resp = emr.add_job_flow_st

2熱

1答えて

Hadoopが予想よりも少ない結果を返す

私はマッパーとレデューサーの2つのpythonスクリプトを持っています（この時点では基本的にレデューサーは何も印刷しません）。ローカルでは4つの結果が得られます - 文字列がhadoopになります。は私がアマゾン弾性地図Hadoopのを使用して削減使用mapper.py #!/usr/bin/env python import sys import re import os # C

2熱

1答えて

EMRクラスタにJobTrackerを接続する方法

私はElastic MapReduceクラスタを使用しています。 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-ssh-tunnel.html 私はパテを使用していますが、master-public-dns：9100に接続できません（タイムアウトエラーが発生しました）。どのようにこれらのインターフェイス

0熱

1答えて

AWSデータパイプラインを使用してEMRクラスタにEBSボリュームを接続するにはどうすればよいですか？

AWSは最近、m4のような特定のクラスタインスタンスタイプにEBSボリュームを添付する可能性を提供しました。 EMRを使用してEBSボリュームを添付することは可能ですが、AWSデータパイプラインを使用してEBSボリュームを添付することはできません。何か不足していますか？

0熱

1答えて

私は次のパスの例ではS3内のファイルの束を持っているAWS S3で

を動的にパスを作成します。ファイルは元々入れたとき s3://bucket/date=2016-01-02/2016-01-02_1012_582.txt s3://bucket/date=2016-01-07/2016-01-07_1415_272.txt 、パーティションが、この場合日付で、シンプルに維持しましたそれは速かったからです。今、ファイル名に基づいてパーティションを作成したいと

0熱

1答えて

pythonを使ってテキストファイルのフォルダ内の文字列を検索する方法

私はPythonでテキストファイルを処理するスクリプトをいくつか書いています。ローカルスクリプトは、私が一致する文字列を検索し、ファイル経由 index_file = open('index.txt', 'r') for line in index_file: .... とループを使用するため、単一のTXTファイルから読み込みますが、アマゾンEMRを使用した場合、inde

1熱

1答えて

還元剤の結果を1つのファイルに印刷する方法

Amazon EMRを使用していますが、その方法（平行）で出力が複数のファイルに分割されるためです。しかし、私は代わりに正しいシーケンスで1つのファイルを持っていますが、それは可能でしょうか？減速中私の最後の行は、彼らが混在しているとして、私は今回の結果をカント、これは私が狂いそうされ、この for key, value in doc_dict.iteritems(): print