0
私は自分のローカルコンピュータ.Thisで火花スタンドアロンクラスタモードを実行しています私のコンピュータスパーク・スタンドアロン・クラスタ・モードでスパークを実行するために必要なハードウェアの最小インパクトは何ですか？
インテルプロセッサーのコアi5の
番号についてのハードウェア情報です：コアの1 総数：2
メモリ：4ギガバイト
私はスパークスタンドアロンクラスター上のEclipseからスパークプログラムを実行しようとしています。これは私のコードの一部です。
String logFile = "/Users/BigDinosaur/Downloads/spark-2.0.1-bin-hadoop2.7 2/README.md"; //
SparkConf conf = new SparkConf().setAppName("Simple Application").setMaster("spark://BigDinosaur.local:7077"));
日食でプログラムを実行した後、私は最初の仕事は、すべてのリソースを受け入れていない
警告メッセージ次取得しています。労働者が登録されていることを確認し、これは、それがハードウェアリソースのミスマッチのように思える同様の問題に答えて、他の人を通過した後のWeb UI
の私のスクリーンショットで十分なリソース
を持っているあなたのクラスタUIをチェックすることは根本的な原因であります。
私はそれにアプリケーションを実行するためのスパークスタンドアロンクラスタに必要な最小ハードウェアinsfractureは何
に関する詳細な情報を入手したいですか？
設定ファイルに何か設定しましたか？私は、1GBのRAMとIntel Atomを搭載したNetbook Asus 1011pxで簡単なSparkジョブを実行できます。 –
そして、あなたは少なくとも1人のワーカーを、sbinフォルダの下にあるスケッチの1つを使って始めましたか？ –
実際にリソースによって制限されている場合は、Databricks Community Editionを試すことができます。 –