spark-shellエラー：スキームのファイルシステムがありません：wasb

Question

AzureでHDInsightクラスタを実行していますが、クラスタ作成時にエッジ/ゲートウェイノードを回転させることはできません。だから私はその後、私は/usr/lib/python2.7/dist-packages/hdinsight_common//usr/share/java//usr/lib/hdinsight-datalake//etc/spark/conf//etc/hadoop/conf/

をコピーした。しかし、私はspark-shellを実行したときに、私はここでエラー

java.io.IOException: No FileSystem for scheme: wasb 

を次取得

echo 'deb http://private-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.2.0 HDP main' >> /etc/apt/sources.list.d/HDP.list 
echo 'deb http://private-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu14 HDP-UTILS main' >> /etc/apt/sources.list.d/HDP.list 
echo 'deb [arch=amd64] https://apt-mo.trafficmanager.net/repos/azurecore/ trusty main' >> /etc/apt/sources.list.d/azure-public-trusty.list 
gpg --keyserver pgp.mit.edu --recv-keys B9733A7A07513CAD 
gpg -a --export 07513CAD | apt-key add - 
gpg --keyserver pgp.mit.edu --recv-keys B02C46DF417A0893 
gpg -a --export 417A0893 | apt-key add - 
apt-get -y install openjdk-7-jdk 
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 
apt-get -y install hadoop hadoop-hdfs hadoop-yarn hadoop-mapreduce hadoop-client openssl libhdfs0 liblzo2-2 liblzo2-dev hadoop-lzo phoenix hive hive-hcatalog tez mysql-connector-java* oozie oozie-client sqoop flume flume-agent spark spark-python spark-worker spark-yarn-shuffle 

をインストールすることで、このエッジ/ゲートウェイノードを作成していたことはいっぱいありますスタックhttps://gist.github.com/anonymous/ebb6c9d71865c9c8e125aadbbdd6a5bc

ここでは、どのパッケージ/ jarが見つからないのか分かりません。

誰かが私が間違っていることを知っていますか？

おかげ

Answer 1

は、マイクロソフトからの海のNingは、Apache Hadoopのインストールでセットアップwasbへの優れたブログの記事を書いています。

1. 1.1は、あなたのローカルインストール中のjarファイルを探すのHadoopのクラスパスにhadoop-azure-*.jarとazure-storage-*.jarを追加します。ここでは

   がまとめたものです。 HDInsightクラスタの/ usr/hdp/current/hadoop-clientフォルダにあります。

   1.2アップデートHADOOP_CLASSPATHは、hadoop-env.shの変数です。 Javaクラスパスは部分ワイルドカードをサポートしていないため、正確なjar名を使用してください。

2. 更新コア-site.xmlの

   <property>   
        <name>fs.AbstractFileSystem.wasb.Impl</name>       
        <value>org.apache.hadoop.fs.azure.Wasb</value> 
   </property> 
   
   <property> 
        <name>fs.azure.account.key.my_blob_account_name.blob.core.windows.net</name> 
        <value>my_blob_account_key</value> 
   </property> 
   
   <!-- optionally set the default file system to a container --> 
   <property> 
        <name>fs.defaultFS</name>   
        <value>wasb://my_container_name@my_blob_account_name.blob.core.windows.net</value> 
   </property> 
   

ここで正確な手順を参照してください： https://github.com/hning86/articles/blob/master/hadoopAndWasb.md

Answer 2

Azureストレージ（wasbとwasbsファイル）を設定する別の方法を火花シェルであります：

1. spark instaの./jarsディレクトリにazure-storageとhadoop-azure jarがあります。 llation。

2. 実行パラメータ-jarsと火花シェル[コンマがこれら瓶へのルートのリストを分離]例：

   
   $ bin/spark-shell --master "local[*]" --jars jars/hadoop-azure-2.7.0.jar,jars/azure-storage-2.0.0.jar 
   

3. スパークコンテキストに次の行を追加します

   
   sc.hadoopConfiguration.set("fs.azure", "org.apache.hadoop.fs.azure.NativeAzureFileSystem") 
   sc.hadoopConfiguration.set("fs.azure.account.key.my_account.blob.core.windows.net", "my_key") 
   

sc.textFile("wasb://my_container@my_account_host/myfile.txt").count() 

4. が:)
お楽しみください：

5. は、単純なクエリを実行しますこれにより

は、簡単にセットアップがスパークアプリケーション、私は同様の問題への解決策を探しています現在のスパークコンテキスト