2017-01-24 5 views
1

私は糸クラスター上で実行されるスパークコードを持ち、databricksライブラリを使用してcsvを寄木張りに変換します。namenode.LeaseExpiredException非hdfsソースからの読み込み時

csvソースがhdfsの場合はうまく動作します。しかし、csvソースが非hdfsの場合、通常はこの例外が発生します。 hdfs csv sourceと同じコードが動作するので、これは起こりません。問題へ

完全リンクは: https://issues.apache.org/jira/browse/SPARK-19344

+0

は、ファイルのソースは何ですがアクセス可能でなければなりません?すべてのノードからアクセスできますか(たとえば、URLですか?)ノードがファイルにアクセスできない場合(例:ローカルコンピュータ/ノード上にある場合) - このエラーは予期されるものとします – Yaron

+0

はいアクセス可能です...アクセス権はhdfs:hdfs でアクセス可能です私はディレクトリ名を与えると、ファイルはそれだけでファイル名をピックアップ.... ファイルが見つからない場合、エラーは異なります。 – taransaini43

+0

それはローカルファイルです...私はspark-submitを実行しているマシンでは...マスターとして提出します-yarn .. 分散されていないがそのようなファイルの入力パスを与える方法(file:///経由でない場合) – taransaini43

答えて

0

コメントで述べたように。

ファイルがドライバーノードにあり、ノードによってアクセスできない場合、読み取りは失敗します。

入力ファイルを読み込む使用して(例えばスパーク2.0でspark.read)、ファイルはすべてのエグゼキュータ・ノード(ファイルがHDFS、cassandraなどにあるときなど)

+0

@ taransaini43 - 私があなたの質問に答えた場合は、それを受け入れてください – Yaron

関連する問題