2016-03-23 5 views
1

私はSparkで始まっているので、私の問題がどこにあるのかよくわからないヒントを探しています。私は管理者としてWindows 7マシンでSpark(pyspark)を実行しようとしていますが、動作していないようです(私はまだWindowsError 5を取得します)。下の画像を参照してください。(後でHadoopの2.4またはのために事前に構築して1.2.0をリリース)私は、ファイルをダウンロードした管理者として実行していてもWindowsエラー5(アクセス拒否)を実行中

enter image description here

を、コマンドラインを介してタールを使用してそれを解凍し、ビンを呼び出す前にIPYTHON = 1を設定します\ pyspark。私はそれを呼び出すと、pysparkが実行されますが、画像ごとに以下のエラーが表示されます。

特定のSparkContextオブジェクトを呼び出そうとすると、名前「sc」が定義されません。

私はPython 2.7.8をインストールしました.Spyder IDEは企業ネットワーク環境にあります。

ここで何が起こっているのかを知る人はいますか?私はWhy am i getting WindowsError: [Error 5] Access is denied?のようないくつかの質問を見てきましたが、ヒントを見つけることができませんでした。

答えて

2

簡単に言えば:

私は同じ問題がどうあるべきか持っていました。私にとっては、$spark/binディレクトリのファイル*.cmdは実行可能ファイルとしてマークされていませんでした。右pyspark2.cmdとクリック

  • プロパティ/セキュリティ]タブを、次に調べて、私はhadoop-winutils-2.6.0.zipのダウンロードをお勧め別のサイト上での回避策を見つけ

「を&が実行読む」で確認してみてください(申し訳ありませんリンクがありません)。ここでは(適切なディレクトリに移動した後)を使用するCMDの例です。

t:\hadoop-winutils-2.6.0\bin\winutils.exe chmod 777 * 

私も/tmp/hiveが書き込み可能にするためにchmod 777 CMDを実行する必要がありました。 幸運!

(...ここで新しい - 貧困層の書式設定のため申し訳ありません)
(更新:書式設定の問題を固定するマットのおかげ!)

根本原因:私はtar -zxf <file.tgz>なかったではない経由でWindows上で使用されるtarプログラム抽出されたファイルに適切な属性を 適用してください。この場合、実行可能ファイル は正しく設定されていませんでした。うん、おそらく私はcygwinの私のバージョンを更新する必要があります。

+0

これはまさに私の問題でした。答えに感謝します。トラブルシューティングの時間を節約できました。 – jencoston

関連する問題