mrjob

6熱

1答えて

ラップトップにPythonのmrjobモジュール経由でmapreduceジョブを実行するための外部スクリプトを作成しています（Amazon Elastic Compute Cloudや大きなクラスターではない）。 mrjob documentationから、MRJob.make_runner()を使用して、次のように別のpythonスクリプトからmapreduceジョブを実行する必要があります。

2熱

1答えて

EMRジョブを実行するための最小AWSポリシー要件

MRJob Pythonフレームワークを使用して、S3バケットcom.test.mybucketからのデータに対してElastic MapRduceを実行したいとします。しかし、S3には他にもたくさんのデータがあります。他のEC2インスタンスには触れたくありません。 AWSユーザーが完全なジョブを実行するために必要なアクセス資格情報の最小限の設定は何ですか？ここで

9熱

2答えて

Amazon Elastic MapReduceのNumpyとScipy

AmazonのElastic MapReduceでmrjobを使用してPythonコードを実行すると、EMRイメージのnumpyとscipyをアップグレードする方法が見つかりました。は、次のコマンドは動作し、コンソールから実行： tar -cvf py_bundle.tar mymain.py Utils.py numpy-1.6.1.tar.gz scipy-0.9.0.tar.gz