スパークとパワービを接続する必要があります。私は同じもののために必要なドライバを知らない。また、私はapacheハイブをインストールせずにローカルモードでsparkを実行しています。だから私はhive-site.xmlリフトサーバーを構成するためのファイルがありません。パワーBIやタブローなどのBIツールでスパークを接続してください
beeline> !connect jdbc:hive2://localhost:10000
Connecting to jdbc:hive2://localhost:10000
Enter username for jdbc:hive2://localhost:10000: Administrator
Enter password for jdbc:hive2://localhost:10000:
log4j:WARN No appenders could be found for logger (org.apache.hive.jdbc.Utils).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Connected to: Spark SQL (version 2.0.1)
Driver: Hive JDBC (version 1.2.1.spark2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
:倹約サーバを起動した後、私は$ SPARK_HOME \ binに\がされたコマンド!connect jdbc:hive2://localhost:10000
でと接続されている倹約サーバーをbeeline.cmdし、管理者としてユーザーIDを使用して(私のローカルマシンと同じ)と、空白のパスワードと出力を開始しましたshow databases;
、それは(ビーラインで)エラーを示している:接続が行われたが、コマンドを使用して、データベースを問い合わせるときと思われ
Error: org.apache.thrift.transport.TTransportException: java.net.SocketException: Software caused connection abort: socket write error (state=08S01,code=0)` and error(in thrift server cmd):`Exception in thread "HiveServer2-Handler-Pool: Thread-XXX"
Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "HiveServer2-Handler-Pool: Thread-XXX"
私はこのエラーを理解していません。これを手伝ってください。また、ローカルマシンにインストールされているpowerbiデスクトップに接続したいと思っています。誰かが接続を行うために読むためにいくつかのリンクを提供できますか?
ご返信いただきありがとうございます。私は今接続をテストしています。完成したら、専用のメタストアサーバーでクラスタモードで作業します。私はエラーのための正確な救済策を特定することができません。あなたはその解決策にもっと具体的になりますか? –
@JustCoder ...また、hive-site.xmlを使用するかどうかについては混乱しています。そして、もし私がそれを使用しないと、私の信用証明とは何か、私のBIツールでアクセスされるスパークウェアハウスのディレクトリは何ですか? –
デフォルトでは、sparkは、ハイブ関連のすべてのクエリにこのフォルダ/ usr/hive/warehouse /を使用し、後で照会されるファイルを格納するために/ usr/hive/warehouse /レコードを使用します。 hive-ste.xmlをローカルストレージにファイルシステムとして、シングルプロセスモードで実行することをお勧めします。 – JustCoder