は私がWindows上で、最近火花を使い始めスパーク

Question

でhaddopのHDFSを使用する方法を、私は今、私がいないMESOSどちらYARNスパークでなく、モードスタンドアロンでHDFSを使用したい、成功したアプリケーションを作成し、ローカルに提出しました。 最初の質問：私は、これを行うにはどのようには考えていることが必要sの場合は）（私は...必要なすべてのステップを含む（多分これ提供する明確な手順やビデオを使用してインストールを開始するために役立つだろう...構成で使用します..） 他の質問：Windowsでhdfsを使用することはできますか？

メモ： - 私は窓でこれを行うことができます（可能な場合）、その後もubuntuに興味があります。 -i開始するために必要なすべての情報が必要です

Answer 1

sparkはすでにhadoopファイルシステムをサポートしています。 あなたが任意のHadoopクラスタへのアクセス権を持っているなら、あなたは単に$ HADOOP_HOMEにおけるコア-site.xmlファイルは/ etc/Hadoopのディレクトリから入手することができ

val textFile = sc.textFile("hdfs://namenode:port/directory") 

名前ノードとポートの情報を使用することにより、スパークからHDFSファイルへのアクセスを開始することができます あなたは、セットアップの擬似または単一ノードできるよりも任意のHadoopクラスタへのアクセス権を持っていない場合。それは非常によくサポートされていないとして推奨されていない窓にhttps://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

HDFSをHadoopクラスタを設定するためのリンクを参照してください。あなたがLinux上でそれを設定すると良いでしょう。

おかげ