スタンドアロンクラスタの非hdfsモードでspark-historyサーバーを有効にする方法

Question

スタンドアロンモードでhttp://paxcel.net/blog/how-to-setup-apache-spark-standalone-cluster-on-multiple-machine/の後にSpark2.1.1クラスタ（1マスター2スレーブ）をセットアップしました。 私は、マシンのHadoop前のセットアップを持っていません。私はspark-historyサーバーを使いたいと思っていました。 次のように私はそれを実行します。

spark.eventLog.enabled   true 

しかし、それはエラーで失敗します：

roshan@bolt:~/spark/spark_home/sbin$ ./start-history-server.sh 

と、私はこれを設定火花defaults.confに中

7/06/29 22:59:03 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(roshan); groups with view permissions: Set(); users with modify permissions: Set(roshan); groups with modify permissions: Set() 
17/06/29 22:59:03 INFO FsHistoryProvider: History server ui acls disabled; users with admin permissions: ; groups with admin permissions 
Exception in thread "main" java.lang.reflect.InvocationTargetException 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) 
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423) 
    at org.apache.spark.deploy.history.HistoryServer$.main(HistoryServer.scala:278) 
    at org.apache.spark.deploy.history.HistoryServer.main(HistoryServer.scala) 
Caused by: java.io.FileNotFoundException: Log directory specified does not exist: file:/tmp/spark-events Did you configure the correct one through spark.history.fs.logDirectory? 
    at org.apache.spark.deploy.history.FsHistoryProvider.org$apache$spark$deploy$history$FsHistoryProvider$$startPolling(FsHistoryProvider.scala:214) 

は、私は何をすべきspark.history.fs.logDirectoryとspark.eventLog.dir

アップデート1：

spark.eventLog.enabled   true 
spark.history.fs.logDirectory file:////home/roshan/spark/spark_home/logs 
spark.eventLog.dir    file:////home/roshan/spark/spark_home/logs 

が、私はいつもこのエラーを取得しています：デフォルトの火花によって

java.lang.IllegalArgumentException: Codec [1] is not available. Consider setting spark.io.compression.codec=snappy at org.apache.spark.io.Co 

Answer 1

は履歴サーバとあなたのログのログ・ディレクトリとしてfile:/tmp/spark-eventsを定義するには、明確にspark.history.fsを語ります.logDirectoryが設定されていません

最初に作成する必要がありますspark-eventsフォルダ/TMPし、そのディレクトリを指すように火花defaults.confにに spark.history.fs.logDirectory を追加（として良いアイデアではありません/ TMPは、マシンが再起動されるたびにリフレッシュです）。しかし、私はあなたがアクセスして更新する別のフォルダを作成することをお勧めします。spark-defaults.confファイル。

火花-defaults.confにファイルに次の2つの以上の変数を定義する必要が

spark.eventLog.dir    file:path to where you want to store your logs 
spark.history.fs.logDirectory file:same path as above 

あなたはは/ opt /火花イベントにスパークユーザーが、その後へのアクセス権を持っているを保存したいとしあなたは

spark.eventLog.enabled   true 
spark.eventLog.dir    file:/opt/spark-events 
spark.history.fs.logDirectory file:/opt/spark-events 

FIできるスパーク-defaults.confにで上記のパラメータは次のようになります java.langのを：ND Monitoring and Instrumentation

Answer 2

でより多くの情報がスパーク-defaults.confにして、私はそれをSPARK_HOME/logディレクトリを設定しますが、私は継続的にエラーを取得しています