火花が私の火花シェルから紺碧の塊にアクセスしようと紺碧

Question

イムのために複数のjarファイルを指定し、jarが

Ps-M:spark-2.1.1-bin-hadoop2.7 p$ bin/spark-shell --jars "/Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/hadoop-azure-2.7.0.jar" "/Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/azure-storage-2.0.0.jar" 

は私がしたいディレクティブで、次のエラー -

scala> sc.textFile("wasb://mycontainer@test.blob.core.windows.net/testfolder/txtfile").count() 
java.lang.NoClassDefFoundError: com/microsoft/azure/storage/StorageException 
    at org.apache.hadoop.fs.azure.NativeAzureFileSystem.createDefaultStore(NativeAzureFileSystem.java:1064) 
    at org.apache.hadoop.fs.azure.NativeAzureFileSystem.initialize(NativeAzureFileSystem.java:1035) 
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2397) 
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89) 
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2431)\ 

複数のjarファイルを取得します--jarsディレクティブで複数のjarファイルを指定する方法を知って、今の私は

Answer 1

複数のJARファイルは、カンマで区切られた「jar1」「jar2」と述べました。

は

Ps-M:spark-2.1.1-bin-hadoop2.7 p$ bin/spark-shell --jars "/Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/hadoop-azure-2.7.0.jar,/Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/azure-storage-2.0.0.jar" 

を実行するようにしてください。また、com/microsoft/azure/storage/StorageExceptionクラスは上記ジャー内であることを確認してください。あなたは上記の2つのJARSにStorageExceptionクラスを見つけることができない場合は、このクラスを持ち、--jarsオプションに追加JARSを探し

jar -tvf /Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/hadoop-azure-2.7.0.jar | grep -i com.microsoft.azure.storage.StorageException 

jar -tvf /Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/azure-storage-2.0.0.jar | grep -i com.microsoft.azure.storage.StorageException 

：あなたはそれを確認するには、次を実行することができます。

希望すると便利です。