ストレージとしてEMRFS（s3バケット）を使用してEMR 5.3.0を作成します。

Question

EMRFS（S3バケット）をストレージとしてEMR 5.3.0を作成しようとしています。 これに関する一般的なガイダンスをご提供ください。

現在、私が正常に動作しているInstanceType = m4.2xlarge.WhichとEMR 5.3.0を作成するためのコマンドの下に使用していますが、EMRFSでストレージとして私は

aws emr create-cluster --name "DEMAPAUR001" --release-label emr-5.3.0 --service-role EMR_DefaultRole_Private --enable-debug --log-uri 's3n://xyz/trn' --ec2-attributes SubnetId=subnet-545e8823, KeyName=XXX --applications Name=Hbase Name=Hive Name=Pig Name=Ganglia --configurations '[{"Classification":"hdfs-site","Properties": {"dfs.replication":"2"},"Configurations":[]}]' --instance-groups
'InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.2xlarge, EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification= {VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' 'InstanceGroupType=CORE, InstanceCount=1,InstanceType=m4.2xlarge,EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification={VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' --tags Name=DEMAPAUR001 Owner="XXX" Division=Corporate Application=DEM-EMR Environment=TRN CostCenter=XXX123 CreatedBy=XXX ManagedBy=XXX Availability=24x7_Mon-Fri Backup=NA

を行うことができないんだけどこれに関して私を助けてください。

Answer 1

クラスタを起動する際に、次の分類を設定で使用できます。一貫性のあるビューを可能にするため

{ "分類"： "emrfsサイト"、 "プロパティ"：{ "fs.s3.consistent"： "真" }}

また、実際にハイブにS3を指してそこに新しいファイルをすべて格納する場合は、この分類をhive-site.xmlに追加する必要があります。

{ "分類：" hive-サイト」、 "プロパティ"：{ "hive.metastore.warehouse.dir"：self.hive_warehouse_dir }}