AWS EMRでnltkをダウンロードすると、「[Errno 28]デバイスに空きスペースがありません」

Question

Amazon AWS EMRクラスターで以下のコードを実行しているときに「スペースなし」エラーが表示されます。

import nltk 
nltk.download('all') 

私は以下、コマンドラインでメモリをチェックし、利用可能なメモリavailable memory in the clusterのスクリーンショットです。私を案内してください。

Answer 1

NLTKダウンローダは、Unix/Linuxベースのオペレーティングシステムのディレクトリ/usr/share/nltk_data/にデータをダウンロードします。

十分なディスクスペースと書き込みアクセスがある別の場所でこのデータをダウンロードします。

python -m nltk.downloader -d /mnt/nltk_data all 

デフォルトのデータの場所が変更されているので、それに応じてNLTK_DATAという環境変数を設定します。

export NLTK_DATA=/mnt/nltk_data 

あなたのインスタンスは、ルートの下にディスク容量を使い果たしているようです。 /ディレクトリが100％になっています。続行する前にディスクスペースを解放してください。