Windowsでのスパーク設定

Question

誰かがhadoopがインストールされている他のマシンにリモートアクセスしている私のマシンでsparkをセットアップする良いチュートリアルをお勧めしますか？

Answer 1

必要なものはクライアントの設定です。接続しようとしているhadoopディストリビューションには、ドキュメントにクライアントが設定されている可能性があります。 MapR-clientにはMapR-clientがあります。

それが配置されると、セットアップスパークにこれらのいずれかに従う、

How to set up Spark on Windows?

Running apache Spark on windows

http://www.ics.uci.edu/~shantas/Install_Spark_on_Windows10.pdf

このことができますなら、私に教えてください。乾杯。

Answer 2

あなたのWindows上でIntelliJ IDEAを使用してSparkで開発することをお勧めします。ビルドファイルの次のコードをコピーできるSBTプロジェクトを作成すると、すべての依存関係がダウンロードされます。

version := "1.0" 
scalaVersion := "2.10.6" 
// grading libraries 
libraryDependencies += "junit" % "junit" % "4.10" % "test" 

libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % "1.6.3", 
    "org.apache.spark" %% "spark-sql" % "1.6.3", 
    "org.apache.spark" %% "spark-hive" % "1.6.3" 
) 

libraryDependencies ++= Seq(
    "org.apache.commons" % "commons-csv" % "1.4", 
    "joda-time" % "joda-time" % "2.9.9", 
    "com.univocity" % "univocity-parsers" % "1.5.1" 
) 
libraryDependencies +="com.databricks" %% "spark-csv" % "1.5.0" 

その後、スカラオブジェクトを作成し、開発を開始します。これは、主にSparkの地方開発のためのものです。ファイルを読み書きするときのパスに注意してください。