Apache Sparkでヒストリサーバーを使用する方法

Question

大学で以下のスニペットを使用してApache Sparkで自分のジョブの1つを記録しました。

conf = SparkConf()\ 
     .setAppName("Ex").set("spark.eventLog.enabled", "true")\ 
     .set("spark.eventLog.dir", "log") 

ジョブが完了した後、私は、ログファイルapp-20170416171823-0000をコピーしようとしました。私のローカルシステムに接続し、次のコマンドを実行して、記録されたSpark Web UIを調べようとしました。

sbin/start-history-server.sh ~/Downloads/log/app-20170416171823-0000 

しかし、歴史は次のエラーで終了しました：

failed to launch: nice -n 0 /usr/local/Cellar/apache-spark/2.1.0/libexec/bin/spark-class org.apache.spark.deploy.history.HistoryServer /Users/sk/Downloads/log/app-20170416171823-0000  at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:77)  ... 6 more full log in /usr/local/Cellar/apache-spark/2.1.0/libexec/logs/spark-sk-org.apa 

che.spark.deploy.history.HistoryServer-1-SK-のMacBook-Pro.local.out

内容の履歴サーバーの出力：

17/04/16 17:44:52 INFO SecurityManager: Changing modify acls groups to: 
17/04/16 17:44:52 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(skaran); groups with view permissions: Set(); users with modify permissions: Set(skaran); groups with modify permissions: Set() 
Exception in thread "main" java.lang.reflect.InvocationTargetException 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) 
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423) 
    at org.apache.spark.deploy.history.HistoryServer$.main(HistoryServer.scala:278) 
    at org.apache.spark.deploy.history.HistoryServer.main(HistoryServer.scala) 
Caused by: java.lang.IllegalArgumentException: Logging directory specified is not a directory: file:/Users/sk/Downloads/log/app-20170416171823-0000 
    at org.apache.spark.deploy.history.FsHistoryProvider.org$apache$spark$deploy$history$FsHistoryProvider$$startPolling(FsHistoryProvider.scala:198) 
    at org.apache.spark.deploy.history.FsHistoryProvider.initialize(FsHistoryProvider.scala:153) 
    at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:149) 
    at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:77) 
    ... 6 more 

Answer 1

引数はログを含むフォルダである必要があります。