Azure HDInsightのwebHDFS URLは何ですか？

Question

ここには紺色です。通常のストレージアカウント上に新しいストレージインスタンスを持つ新しいHDInsightインスタンスのスピンアップが完了しました。私はwebHDFSのURLが何であるか/私がどこでそれを取得できるのか、どのように私がアクセスできるのか不思議です。

私はAzure Data Lakeストレージを使用していません。 （私はいくつかのデータ湖のリンクに紺碧の関連リードを発見したほぼすべてのリンク）

私のHDFS-site.xmlを：

<property> 
    <name>dfs.webhdfs.enabled</name> 
    <value>true</value> 
</property> 

コア-site.xmlの：

<property> 
    <name>fs.defaultFS</name> 
    <value>wasb://<my hdinsight storage name>@<my hdinsight name>.blob.core.windows.net</value> 
    <final>true</final> 
</property> 

Answer 1

あなたの拠点webHDFS FileSystem URIはwebhdfs://<HOST>:<HTTP_PORT>である必要があります.HOSTはCLUSTERNAME.azurehdinsight.netで、HTTP_PORTはデフォルトで80である必要があります。

対応するHTTP URLを

http://<HOST>:<HTTP_PORT>/webhdfs/v1/

Answer 2

Webhdfsポートは、HDFSの名前ノードポートと同じである次の形式を持っている、あなたは以下のプロパティを使用して、このポートを無効にすることができます - dfs.namenode.http-addressデフォルト値は50070.

ですhttps://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

curlまたはブラウザでwebhdfsにアクセスする場合は、次のようにポート番号を指定する必要があります。

http://<HOST>:<HTTP_PORT>/webhdfs/v1/

http://<HOST>:50070/webhdfs/v1/