スパイク・オン・タキオン（alluxio）。フレームサイズ（273247862）が最大長より大きい（16777216）

Question

Alluxioにスパークを展開するためのガイドに従っています。 （ "：// localhostを：alluxio 19998/findbugs.xml"）私は

ヴァル・CCC = sc.textFile、RDD操作を実行するためにalluxioからデータをロードしようとすると
ccc.count

誤差は次のように現れる：

16/07/24 23:27:16 INFO logger.type: getFileStatus(alluxio://localhost:19998/findbugs.xml) 
16/07/24 23:27:16 ERROR logger.type: Frame size (273247862) larger than max length (16777216)! 
alluxio.org.apache.thrift.transport.TTransportException: Frame size (273247862) larger than max length (16777216)! 
    at alluxio.org.apache.thrift.transport.TFramedTransport.readFrame(TFramedTransport.java:137) 
    at alluxio.org.apache.thrift.transport.TFramedTransport.read(TFramedTransport.java:101) 
    at alluxio.org.apache.thrift.transport.TTransport.readAll(TTransport.java:86) 

Javaバージョンを1.8.0_74、スパークある：1.2.0。 alluxio 1.2.0
このような問題は長い間悩まされています。

Answer 1

このエラーの典型的な原因は、不正なポートを使用してAlluxioマスタに接続する場合です。デフォルトのポートは19998です。spark-shellを再起動し、正しいポートに接続することができます。

このエラーのもう1つの理由は、クライアントとマスタのセキュリティ設定が異なる場合です。認証タイプ（構成パラメータalluxio.security.authentication.type）は、クライアントとマスターで一致する必要があります。設定パラメータに関する情報は次のとおりです。http://www.alluxio.org/docs/master/en/Configuration-Settings.html#security-configuration