BlobをSparkに接続できない

Question

Hortonworks 2.4ディストリビューションのsparkをAzure Blobストレージに接続しようとしましたが、「wasbファイルシステムが認識されません」というエラーが発生しました。私はチェックし、Azure-sdk-for-javaをダウンロードしてパッケージを作成することを提案しました。

mvnを使用してパッケージを作成しようとしていますが、mvn testとmvn packageの両方を実行しています。プロセスはテスト中にハングアップしています。エラーはありません。何も返されませんでした。私は私のBLOBアカウント名を反映するためにtestconfiguration.xmlを変更しました。以下は、私が得ているログファイルです。

瓶を得るために何か他に必要なことはありますか？

[INFO] Scanning for projects... 
[INFO] 
[INFO] ------------------------------------------------------------------------ 
[INFO] Building Microsoft Azure Storage Client SDK 4.3.0 
[INFO] ------------------------------------------------------------------------ 
[INFO] 
[INFO] --- maven-resources-plugin:2.5:resources (default-resources) @ azure-storage --- 
[debug] execute contextualize 
[INFO] Using 'UTF-8' encoding to copy filtered resources. 
[INFO] skip non existing resourceDirectory /home/adminhorton/kspark/azure-storage-java-master/src/main/resources 
[INFO] 
[INFO] --- maven-compiler-plugin:2.3.2:compile (default-compile) @ azure-storage --- 
[INFO] Nothing to compile - all classes are up to date 
[INFO] 
[INFO] --- maven-resources-plugin:2.5:testResources (default-testResources) @ azure-storage --- 
[debug] execute contextualize 
[INFO] Using 'UTF-8' encoding to copy filtered resources. 
[INFO] Copying 2 resources 
[INFO] 
[INFO] --- maven-compiler-plugin:2.3.2:testCompile (default-testCompile) @ azure-storage --- 
[INFO] Compiling 52 source files to /home/adminhorton/kspark/azure-storage-java-master/target/test-classes 
[INFO] 
[INFO] --- maven-surefire-plugin:2.13:test (default-test) @ azure-storage --- 
[INFO] Surefire report directory: /home/adminhorton/kspark/azure-storage-java-master/target/surefire-reports 
T E S T S 

parallel='classes', perCoreThreadCount=true, threadCount=2, useUnlimitedThreads=false 
Running com.microsoft.azure.storage.StorageAccountTests 
Tests run: 33, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.057 sec 
Running com.microsoft.azure.storage.StorageUriTests 
Tests run: 6, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.071 sec 

com.microsoft.azure.storage.StorageAccountTests.txt 
com.microsoft.azure.storage.StorageUriTests.txt 

com.microsoft.azure.storage.StorageAccountTests.txt 
com.microsoft.azure.storage.StorageUriTests.txt 

Answer 1

あなたの説明によると、私は自分のプロジェクトで正しくストレージ構成を構成しているとは確信していません。 HDPサービス

<property> 
    <name>fs.azure.account.key.youraccount.blob.core.windows.net</name> 
    <value>YOUR ACCESS KEY</value> 
</property> 

2.RestartとHadoop fs –ls wasb://**.blob.core.windows.net/を使用します。

1.CreateあなたAzureのストレージアカウントをこのフォーマットとしてcore-site.xmlでそれを設定します。だから私はあなたの設定を確認するには、これらの手順を実行することができますお勧めしますコンテナ内のファイルを一覧表示します。

このブログhow-to-configure-hortonworks-hdp-to-access-azure-windows-storageと公式documentを参照することを強くお勧めします。

一方、@Yuvalは、Java SDKでAzure BLOBに接続する方法についての素晴らしいサンプルを提供しました。