完全な機能（クラスターを含む）スパーク学習開発を1台のマシンにセットアップする方法は？

Question

Spark 2.0を学習したいので、私はdev（Scalav2.11）環境をセットアップしようとします。

スパークは分散環境を使用します。マシンごとに複数の別々のマシン間で1つのクラスタ上で作業する。しかし、私は一つしか機械とそれを持っていない私のテスト目的のための多くのマシンを持っていない。

私はパフォーマンスの後ではありません、私はSparkを学ぶことができるように、動作するクラスタをシミュレートするものが必要です。

複数のマシンにアクセスしなくても、完全に機能するSparkベースの環境でコードを学習したり書くことなく、Sparkアプリケーションを学習し開発するための開発環境を設定するにはどうすればよいですか？

Answer 1

localモードで開始してください。

Sparkはexecutorを起動したり、タスクを配布したりします。省略される唯一のステップはネットワーク経由でのデータ転送です。これは本番環境の完全なフードの下で行われるため、コーディング中にこの省略を考慮する。

エグゼキュータの数（このモードではスレッドのみ）を指定して、たとえばSpark Streamingに少なくとも2つのエフェクタが必要であることをテストできます。

またはそれは、すべてのボンネットの下に行われ、プログラミングはローカル上で同じすべての であると言っているので、それはスパーク を学ぶためのクラスタを作るためにあまり意味がありませんが：あなたのコメントを参照のうえ

スタンドアローン/ヤーン/メソスモード

はい、いくつかの規則がありますが、ローカルモードと他のモードではまったく同じです。

ローカルモードでは、ノード3個を持つ クラスタの例を開始できますか？

local[3]トリックを行う必要があります。