スパークヤーンクラスターのプレインストール

Question

糸でスパーククラスターを作ろうとしました。 糸をすべてのノードにインストールする必要はありますか？ 私は糸がすべての瓶とMRを必要とするが、それらを取ることを知っている、私は作業者ノードが糸のパッケージを必要とすると推定する。マスターノードにHDFSとジャー、ヤーンをインストールする必要があります。

Answer 1

YARNは、2つのプロセス

1. リソースマネージャ
2. ノードマネージャ

リソースマネージャを必要とする代表団タスクマスターです。ノードマネージャは、与えられた作業で動作するスレーブです。 リソースマネージャをすべてのスレーブマシン（コモディティハードウェア）の1台のマシン（プロダクショングレードサーバ）とノードマネージャにインストールする必要があります。

HDFSは、以下のような処理を必要と

1. 名前ノード
2. データノード
3. SecondaryName
名前ノードとセカンダリ名前ノードは、上の2台の別々のマシン（生産グレードサーバ）とデータノードに設置する

すべてのスレーブマシン（コモディティハードウェア）。

典型的にはデータノードと、ノードマネージャは、すべてのスレーブノード上に一緒にインストールされます。

Answer 2

わからない、あなたは正確にやろうとしているもの。 Hadoopの2.0糸ので

はHadoopのの不可欠な部分です。 したがって、hadoopをインストールすると、糸が自動的に取り付けられます。あなたはHadoopのを開始するために提供されるスクリプトを使用する場合

、彼らはHadoopのスタックを開始します。 その後、提供されたスクリプトを使用して糸を始めることができます。

その後、火花をインストールし、Hadoopのインストール、および設定からライブラリを使用することを指します。

手動で糸をインストールするのが面倒な詳細に入る必要はありません。