google-cloud-dataprocでspark thrift serverを起動できません

Question

google-cloud dataprocクラスタのポート10010でspark sqlのリトリーバサーバを起動するのが難しいです。次のエラーで失敗します。私はまだ運がないポート番号を変更しようとしました。

sudoはHIVE_SERVER2_THRIFT_PORTにここ= 10010 /usr/lib/spark/sbin/start-thriftserver.sh

の火付け役-uログです：

16/11/30 23時47分16秒INFOの組織.apache.hive.service.AbstractService：サービス：ThriftBinaryCLIServiceが開始されました。 16/11/30 23:47:16情報org.apache.hive.service.AbstractService：サービス：HiveServer2が開始されています。 16/11/30 23:47:16エラーorg.apache.hive.service.cli.thrift.ThriftCLIService：HiveServer2の開始エラー：ThriftBinaryCLIServiceを開始できませんでした org.apache.thrift.transport.TTransportException：ServerSocketを作成できませんでした住所0.0.0.0/0.0.0.0:10002。 （TServerSocket.java:109） at 012.serach.thrift.transport.TServerSocket（TServerSocket.java:109） （TServerSocket.java:87） at org.apache.hive.service.auth.HiveAuthFactory.getServerSocket（HiveAuthFactory.java:241） at org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run（ThriftBinaryCLIService.java ：66） java.lang.Thread.run（Thread.java:745） 16/11/30 23:47:16情報HiveServer2をシャットダウンする 16/11/30 23:47:16情報org.apache.hive.service.AbstractService：サービス：ThriftBinaryCLIServiceが停止しています。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：Service：OperationManagerが停止しています。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：サービス：SessionManagerが停止しています。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：サービス：CLIServiceが停止しています。 16/11/30 23時47分16秒INFO org.apache.hive.service.AbstractService：サービス：HiveServer2は、私はそれが機能しなかった理由を正確にはわからない

Answer 1

を停止しているが、私は apt-get install spark-thriftserverを実行することはお勧めします代わりに。

サーバーは、デフォルトでポート10002（あなたのケースでは実行しようとしたもの）に出てくるように設定されていますが、これはspark-env.shに変更できます。

また、AppMasterとエグゼキュータを持つThrift Serverは、小さなクラスタを埋めることができますし、別の小さなSparkジョブでブロックすることもできます。