0
私は、Amazon S3からデータをロードするには、次のコードを使用:DSXノートブックでAmazon S3からデータを読み込めないのはなぜですか?
from ingest import Connectors
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
S3loadoptions = {
Connectors.AmazonS3.ACCESS_KEY : 'AKIAJYCJAFZYENNPACNA',
Connectors.AmazonS3.SECRET_KEY : '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',
Connectors.AmazonS3.SOURCE_BUCKET : 'ngpconnector',
Connectors.AmazonS3.SOURCE_FILE_NAME : 'addresses3.csv',
Connectors.AmazonS3.SOURCE_INFER_SCHEMA : '1',
Connectors.AmazonS3.SOURCE_FILE_FORMAT : 'csv'}
S3DF = sqlContext.read.format('com.ibm.spark.discover').options(**S3loadoptions).load()
S3DF.printSchema()
S3DF.show(5)
しかし、私は、このコードスニペットを実行すると、私は次のエラーを取得します。私はdashDBのような別のデータソースから読み込んだときに同様のエラーメッセージが表示されます。
AttributeErrorTraceback (most recent call last)
<ipython-input-1-9da344857d7e> in <module>()
4
5 S3loadoptions = {
----> 6 Connectors.AmazonS3.ACCESS_KEY : 'AKIAJYCJAFZYENNPACNA',
7 Connectors.AmazonS3.SECRET_KEY : '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',
8 Connectors.AmazonS3.SOURCE_BUCKET : 'ngpconnector',
AttributeError: 'NoneType' object has no attribute 'AmazonS3'
エラーは、「取り込み」に「コネクタ」がないことを示します。正しいライブラリからインポートしてもよろしいですか? – Njol
新しいSQLContextを作成しないでください。 DSXのノートブックには既に1つあります。 –
選択したSparkのバージョンを確認してください。 iircには、Spark 1.6とSpark 2.xのインジェストライブラリのさまざまなバージョンがあります。また、Python 2.7対Python 3.5が役割を果たす可能性があります。 –