AWS EMRクラスタのディスクスペース問題

Question

AWSに11ノード（1つのマスター+ 10コア）のEMRクラスタをプロビジョニングしました。各ノードのディスク容量を100 GBとしました。

クラスタをプロビジョニングすると、EMRは自動的にルートパーティション（/ dev/xvda1）に10GBしか割り当てませんでした。 rootパーティションのディスクスペースが一杯になった後、私たちはジョブを実行できなかったし、yumコマンドを使ってgitのような基本的なソフトウェアをインストールすることもできなかった。

[hadoop@<<ip address>> ~]$ df -BG 
Filesystem  1G-blocks Used Available Use% Mounted on 
devtmpfs    79G 1G  79G 1% /dev 
tmpfs    79G 0G  79G 0% /dev/shm 
/dev/xvda1   10G 10G  0G 100%/
/dev/xvdb1   5G 1G  5G 4% /emr 
/dev/xvdb2   95G 12G  84G 12% /mnt 
/dev/xvdf   99G 12G  83G 12% /data 

この問題の解決方法を教えてください。

1. ルートパーティション（/ dev/xvda1）のディスク容量を30GBに増やす方法はありますか。
2. デフォルトでは、yumまたはrpmを使用するすべてのインストールは、ルートパーティション（/ dev/xvda1）に移動します。ルートパーティション（/ dev/xvda1）にバイパスソフトウェアをインストールする方法は？
3. 解決策が何であれ、既存のEMRのインストールを妨げてはいけません。

ヘルプは大歓迎です。

Answer 1

すべてのEMR AMIには10GBの固定ルートボリュームが付属しているため、EMRクラスターのすべてのec2インスタンスになります。 EMRで選択したすべてのアプリケーションは、このルートボリュームにインストールされ、このディスクの約90％を占めることが予想されます。現時点では、このボリュームサイズの増加もアプリケーションのインストール動作も変更することはできません。したがって、このルートボリュームを使用してアプリケーションをインストールするのをやめ、より大きなボリューム（/ mnt /など）にカスタムアプリケーションをインストールしてください。いくつかのルートディレクトリをより大きなボリュームにシンボリックリンクして、アプリケーションをインストールすることもできます。

Answer 2

/var/aws/emr/packagesのように見えます（30％）。このフォルダがrm -rf /var/aws/emr/packages 'になるか、または/mntにシンボリックリンクする必要がありますが、それを削除するとIdkは私のために働いたようです。