トークン（<USER>のHDFS_DELEGATION_TOKENトークン210）がキャッシュ内に見つかりません

Question

私は、Spark 1.3とYARNでKerberized hadoopクラスタ（Hadoop 2.6.0-cdh5.4.4）を使用しています。私は数時間、スカラー2.10アプリケーションによって生成されたこのエラーの原因を調べてきました。 apache.hadoop.ipc.RemoteException（org.apache.hadoop.security.token.SecretManager $ InvalidToken）：トークン（XXXXXXのHDFS_DELEGATION_TOKENトークン210）がキャッシュ内に見つかりません 16/04/16 10:32:33 WARN hdfs.LeaseRenewer：[DFSClient_NONMAPREDUCE_462399399_14]のリースを30秒間更新できませんでした。すぐに再試行します... org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.security.token.SecretManager $ InvalidToken）：トークン（XXXXXXのHDFS_DELEGATION_TOKENトークン210）がキャッシュ内に見つかりません .apache.hadoop.ipc.Client.call（Client.java:1410） at org.apache.hadoop.ipc.Client.call（Client.java:1363） at org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker .invoke（ProtobufRpcEngine.java:206）

私はpysparkを使用してコードを再現し、同じことを得ました。

Answer 1

ウェブのエンタのほとんどは、私にとってうまくいかなかった構成上の問題に関連していました。

最後に、これはプログラミングの犠牲によって引き起こされたことがわかりました。このコードは、いくつかのスパークコンテキストを作成して停止させていました。この複数の作成を取り除き、単一のスパークコンテキストを使用した後、エラーは無効になり、アプリケーションは問題なく終了しました。

これは誰かに役立つことを願っています。