emr

0熱

1答えて

この質問は複数回尋ねられたかもしれませんが、私はこれらの解決策を試してみました。したがって、明確な解決のために新しいスレッドでそれを尋ねる。 S3読み取り専用アクセス権（すべてのS3リソースでGetとList）を使用してIAMユーザーを作成しましたが、HDFSコマンドを使用してEMRクラスターからS3にアクセスしようとすると、特定のフォルダーに対して "エラーコード403禁止"例外が発生します。他

0熱

1答えて

ローカルクラスタのようにEMR上でジョブを実行できますか？

私のラップトップにローカルクラスタを構築しています（擬似モード）。どこで別のmapreduceコマンドを実行するか hadoop-streaming -D mapred.output.compress=true \ -D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec \ -file

0熱

1答えて

distcp：私は、次のコードをdistcp経由でS3にHDFSから巨大なファイルをコピーしようとしていS3にHDFSからコピーファイル（スカラまたはJavaで使用する方法）

： val files:Array[String] = new Array[String](2) files(0) = "/****/in.zip" val in = new Path(new URI("/**/in.zip")) val out = new Path(new URI("***/out.zip")) var distcpOpt = new DistCpOptions(in

0熱

1答えて

emotr-5.2.1でdynamodbに書き込むためにどのようにしてsparkを得ることができますか？ <a href="https://aws.amazon.com/blogs/big-data/analyze-your-data-on-amazon-dynamodb-with-apache-spark/" rel="nofollow noreferrer">this article here</a>によると

、私はDynamoDBのためにパイプデータに火花を使用するAWS EMRクラスタを作成するとき、私はラインと前置きする必要があります。 spark-shell --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar この行はfrom the amazon devs themselvesを含む多数の文献に表示されます。しかし、私は追加--jars

0熱

1答えて

クエリ赤方偏移EMRスパーク

から私はと赤方偏移のテーブルがエラーを取得する spark-shell --jars minimal-json-0.9.4.jar spark-avro_2.11-3.1.0.jar spark-redshift_2.10-0.6.1-SNAPSHOT.jar クエリを使用して、マスターノード上でスパークシェルを開始しました： java.lang.ClassNotFoundExcept

0熱

1答えて

Presto S3 KMS暗号化強制バケットにデータを挿入するときにAccessDenied

私はすべてのオブジェクトをKMSで暗号化するように強制するAWS s3上のバケットを持っています。私はPrestoをemr-5.2.1で実行しています私はs3（データなし）に外部テーブルを持っています。私がアクセス拒否エラーを取得しています INSERT INTO hive.s3.new_table SELECT * FROM src_table を使用しています。私はいくつかの異な

0熱

3答えて

Tableauをemrのprestoに接続できません

TableauをEMRクラスタで事前に接続することはできません。バージョン：タブロー10、EMR-5.3.0、プレスト0.157.1私はコマンド [[email protected] scripts]$ presto-cli presto> use hive.poc; presto:poc> show tables; Table ... を使用してプレスト-CLI経由で接続