Dask Distributed資格情報を見つけることができません

Question

データフレームread：df_read_csvを使用して、S3上の自分のファイルにアクセスできません。 Exception: Unable to locate credentials

私のdask配布がローカルワーカーコアに対して実行されている場合、これは正常に動作します。ただし、追加のワーカーサーバーのクラスターでクライアントをインポートすると失敗します。私のクラスタは、ubuntuでdask-ec2を使用し、ヘッダーサーバー上に1つのスケジューラと3つのワーカーサーバー（すべてのubuntu）を使用して作成されました。

私は、すべてのワーカーもS3にアクセスする必要があるため、このエラーが発生していると想定しています。私はそれらのすべてにaws cliをインストールし、私のキーを使用して接続し、cliからS3バケットをリストすることができます。しかし、何らかの理由で私のデータフレームの読み込みで、botoが資格情報を見つけることができないというubuntuエラーがスローされます。

私は様々な投稿を辿っていますが、これは、エラーのスクリーンショットです：

Answer 1

こんにちはマットあなたはstorage_optionsにkeyとsecretを追加する必要があります。私の場合は、それらをsettings.pyに保存しました

import dask.dataframe as dd 
import settings 

df = dd.read_csv("s3://gra-dask-ec2/us_cities.csv", 
        storage_options={'key': settings.AWS_ACCESS_KEY_ID, 
            'secret': settings.AWS_SECRET_ACCESS_KEY})