私はスパークを開始しました。私はCDH5をSparkと共にインストールしました。私はそれがスパーク：エラーが見つかりませんでした値SC
<console>:17: error: not found: value sc
val distdata = sc.parallelize(data)
以下のようにエラーを与えるsparkcontext使用しようとすると、しかし、私はこれについて調査し、error: not found: value sc
を発見し、./spark-shellでスパークコンテキストを開始しようとしました。エラーが発生するNo such File or Directory
正確なディレクトリにある場合は./で、それ以外の場合はpath/to/spark-shellで始まるspark-shellを開始することができます。
あなたはでスクリプトを実行している場合も、あなたが最初SparkContextとしてscを初期化する必要があります：パスにスパークディレクトリを追加
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
あなたはどこからでも火花シェルを使用することができます。あなたが使用してスパークコンテキストを作成するために、火花提出仕事でそれを使用している場合
import org.apache.spark.SparkContextを追加します。CONFがすでに定義されている
val sc = new SparkContext(conf)
。
私の場合、新しい端末を起動すると問題が解決します。
ありがとうございました。私はすべてのステップを正確に繰り返しました。それでも同じエラーが出ます。 –
「spark-shell」に正しいパスを提供していますか？あなたのシステムの '/ bin'にはデフォルトではないので、'/path/to/spark-shell'のように実行する必要があります。 – Nhor
これは私がやっていたものです。 val data =配列（1、2、3、4、5） val distData = sc.parallelize（data）。また、どのようにしてsparkシェルのパスを見つけることができますか？ –