私は糸クラスター上で実行されるスパークコードを持ち、databricksライブラリを使用してcsvを寄木張りに変換します。namenode.LeaseExpiredException非hdfsソースからの読み込み時
csvソースがhdfsの場合はうまく動作します。しかし、csvソースが非hdfsの場合、通常はこの例外が発生します。 hdfs csv sourceと同じコードが動作するので、これは起こりません。問題へ
完全リンクは: https://issues.apache.org/jira/browse/SPARK-19344
は、ファイルのソースは何ですがアクセス可能でなければなりません?すべてのノードからアクセスできますか(たとえば、URLですか?)ノードがファイルにアクセスできない場合(例:ローカルコンピュータ/ノード上にある場合) - このエラーは予期されるものとします – Yaron
はいアクセス可能です...アクセス権はhdfs:hdfs でアクセス可能です私はディレクトリ名を与えると、ファイルはそれだけでファイル名をピックアップ.... ファイルが見つからない場合、エラーは異なります。 – taransaini43
それはローカルファイルです...私はspark-submitを実行しているマシンでは...マスターとして提出します-yarn .. 分散されていないがそのようなファイルの入力パスを与える方法(file:///経由でない場合) – taransaini43