emr

0熱

1答えて

fatjarでパックされ、EMR Hadoopクラスタで実行されているスケーリングジョブがあります。最近、マップ内にDynamoDB接続が必要な新機能が追加されました。しかし、すぐにマッパーがDynamoDBの初期化に達すると、それは次の例外スロー： Error in configuring object at org.apache.hadoop.util.ReflectionUtils

0熱

1答えて

EMRのPresto：外部アクセス

Prestoをインストールして実行しているEMRクラスターをセットアップしました。 presto-cliを使用してサーバー上のデータを照会することはできますが、外部からアクセスできるようにPrestoを設定する方法は完全にはわかりません（ノートパソコンのTableauなどから）。 /usr/lib/presto/のすべての設定/プロパティファイルを調べましたが、リモートアクセス設定（つまり、ユーザ

1熱

1答えて

EMRでスパークするためのパスワードの受け渡し方法

Amazon EMRで動作するsparkクラスタがpostgresqlデータベースにアクセスする必要があるとします。それにログインとパスワードを与える最善の方法は何ですか？それらは、我々がしようとしているいくつかの方法があります。（パスワードはS3にプレーンテキストであるため、いない理想的な）は、情報とS3上の設定ファイルを持っているに火花-ENVの一環として、環境変数として渡しますEMR設

0熱

1答えて

AWS EMRクラスタでリソースを解放するにはどうすればよいですか？

私はAWS EMRクラスタを起動してSSH経由でログインし、spark-shellを実行してSparkコードをテストし、インターネット接続が失われ、接続が失われたというエラーが発生することがあるという共通の問題があります。しかし、Spark関連のプロセスはまだ実行されているようです。私は、サーバーに再接続し、もう一度spark-shellを実行すると、私はこれらのエラーの多くを得る：このエラーを

1熱

1答えて

Pyspark - ロードファイル：パスが存在しません

私はSparkの初心者です。私はEMRクラスタ内のローカルCSVファイルを読み込もうとしています。ファイルは/ home/hadoop /にあります。私が使用しているスクリプトは、このいずれかになります。 spark = SparkSession \ .builder \ .appName("Protob Conversion to Parquet") \ .conf

2熱

2答えて

emrでoozieを使用してspark submitを実行しようとすると、以下のエラーが表示されます

私はクラスタモードで実行しています。 apache-kerberos-codec-2.0.0-M15.jarは、oozie/share/lib/lib */sparkとoozie/share/lib/lib */oozieの複数の場所にあります。これは環境問題ですか？ ava.lang.IllegalArgumentException: Attempt to add (hdfs://ip-172-

0熱

1答えて

ストレージとしてEMRFS（s3バケット）を使用してEMR 5.3.0を作成します。

EMRFS（S3バケット）をストレージとしてEMR 5.3.0を作成しようとしています。これに関する一般的なガイダンスをご提供ください。現在、私が正常に動作しているInstanceType = m4.2xlarge.WhichとEMR 5.3.0を作成するためのコマンドの下に使用していますが、EMRFSでストレージとして私は aws emr create-cluster --name "DEM

0熱

1答えて

EMR Spark - S3へのファイル書き込みの進捗状況を確認するにはどうすればよいですか？

EMRにはサービスがありますか？または、私は寄木細工のファイルをS3に作成する仕事を提出するときに進行状況バー（または経過時間）を見ることができますか？コード： df.write.partitionBy("date").mode("append").parquet("s3n://uk-adp-vault/semasio/output")

0熱

1答えて

自動スケーリングAWS EMRクラスタ0のノードが

クロスポストから：https://forums.aws.amazon.com/thread.jspa?messageID=766424 ねえ、コアインスタンス・グループにこのポリシーを適用しようとすると： { "Constraints": { "MinCapacity": 0, "MaxCapacity": 2 }, "Rules": [