2017-09-15 8 views
1

この質問は繰り返されるようですが、実際にはこれに関連するいくつかの質問がありましたが、正確には同じエラーではないので、誰かが手掛かりSpark Thrift Serverに接続するためのODBC設定

デフォルトの設定で動作しているSpark Thrift Serverをセットアップしました。 Sparkのバージョンは2.1でYARN(Hadoop 2.7.3)で動作します

実際、SimbaハイブODBCドライバもMicrosoft ODBCドライバもセットアップできないため、ODBCセットアップのテストは成功します。

これは私がマイクロソフトハイブODBCドライバーのために使用していconfigです:

enter image description here

私はテストボタンを押すと、表示されるエラーメッセージは以下の通りです:

enter image description here

Spark Thrift Serverのログには、次の情報が表示されます。

17/09/15 17:31:36 INFO ThriftCLIService: Client protocol version: HIVE_CLI_SERVICE_PROTOCOL_V1 
17/09/15 17:31:36 INFO SessionState: Created local directory: /tmp/00abf145-2928-4995-81f2-fea578280c42_resources 
17/09/15 17:31:36 INFO SessionState: Created HDFS directory: /tmp/hive/test/00abf145-2928-4995-81f2-fea578280c42 
17/09/15 17:31:36 INFO SessionState: Created local directory: /tmp/vagrant/00abf145-2928-4995-81f2-fea578280c42 
17/09/15 17:31:36 INFO SessionState: Created HDFS directory: /tmp/hive/test/00abf145-2928-4995-81f2-fea578280c42/_tmp_space.db 
17/09/15 17:31:36 INFO HiveSessionImpl: Operation log session directory is created: /tmp/vagrant/operation_logs/00abf145-2928-4995-81f2-fea578280c42 
17/09/15 17:31:36 INFO SparkExecuteStatementOperation: Running query 'set -v' with 82d7f9a6-f2a6-4ebd-93bb-5c8da1611f84 
17/09/15 17:31:36 INFO SparkSqlParser: Parsing command: set -v 
17/09/15 17:31:36 INFO SparkExecuteStatementOperation: Result Schema: StructType(StructField(key,StringType,false), StructField(value,StringType,false), StructField(meaning,StringType,false)) 

私は(OK作品)ビーラインによって、JDBCドライバを使用して接続した場合、これらは、ログです:

17/09/15 17:04:24 INFO ThriftCLIService: Client protocol version: HIVE_CLI_SERVICE_PROTOCOL_V8 
17/09/15 17:04:24 INFO SessionState: Created HDFS directory: /tmp/hive/test 
17/09/15 17:04:24 INFO SessionState: Created local directory: /tmp/c0681d6f-cc0f-40ae-970d-e3ea366aa414_resources 
17/09/15 17:04:24 INFO SessionState: Created HDFS directory: /tmp/hive/test/c0681d6f-cc0f-40ae-970d-e3ea366aa414 
17/09/15 17:04:24 INFO SessionState: Created local directory: /tmp/vagrant/c0681d6f-cc0f-40ae-970d-e3ea366aa414 
17/09/15 17:04:24 INFO SessionState: Created HDFS directory: /tmp/hive/test/c0681d6f-cc0f-40ae-970d-e3ea366aa414/_tmp_space.db 
17/09/15 17:04:24 INFO HiveSessionImpl: Operation log session directory is created: /tmp/vagrant/operation_logs/c0681d6f-cc0f-40ae-970d-e3ea366aa414 
17/09/15 17:04:24 INFO SparkSqlParser: Parsing command: use default 
17/09/15 17:04:25 INFO HiveMetaStore: 1: get_database: default 
17/09/15 17:04:25 INFO audit: ugi=vagrant ip=unknown-ip-addr cmd=get_database: default 
17/09/15 17:04:25 INFO HiveMetaStore: 1: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore 
17/09/15 17:04:25 INFO ObjectStore: ObjectStore, initialize called 
17/09/15 17:04:25 INFO Query: Reading in results for query "[email protected]" since the connection used is closing 
17/09/15 17:04:25 INFO MetaStoreDirectSql: Using direct SQL, underlying DB is DERBY 
17/09/15 17:04:25 INFO ObjectStore: Initialized ObjectStore 

答えて

0

さて私は、MicrosoftスパークODBCドライバの代わりに、ハイブ1をインストールすることにより、正常に接続するために管理。 Spark Thrift Serverに接続することを拒否したドライバが、一部のサーバープロパティに基づいてHive2サーバーではないことが判明したときに問題が発生したように見えました。私はHive2とSparkの間のワイヤレベルで実際の違いがあるとは思っていません。後者はプロトコルレベル(Thrift)で変更されていない旧式のポートなので、しかし、いずれの場合でも、このドライバに移動し、それはHive2のものと同じ方法です:

Microsoft® Spark ODBC Driver

関連する問題