0
サーバAにはhadoopでタスクを実行するためのhadoopとpythonスクリプトがあります。 サーバBでハイブ/ハープを持っています。 サーバAのhadoop-clientをサーバBのhadoopに接続するように設定できますか?他のマシン/サーバでhadoopに接続するためにhadoop-clientを設定する
サーバAにはhadoopでタスクを実行するためのhadoopとpythonスクリプトがあります。 サーバBでハイブ/ハープを持っています。 サーバAのhadoop-clientをサーバBのhadoopに接続するように設定できますか?他のマシン/サーバでhadoopに接続するためにhadoop-clientを設定する
あなたが使用しているPythonライブラリが何であるかはっきりしませんが、PySparkを前提にクライアントマシンのHADOOP_CONF_DIR
をコピーまたは設定して外部のHadoopシステムと通信できます。
少なくともHDFSと通信するようにcore-site.xmlを設定し、Hiveと通信するにはhive-site.xmlを設定する必要があります。あなたがPyHive libraryを使用している場合
、あなたはちょうどあなたがそうハイブ-site.xmlのを構成する方法の例を提供することができ[email protected]:1000
に接続し、そのハイブは、他のサーバーにハイブに接続するのでしょうか?他のハイブと通信するためにどのようなパラメータがハイブになるのでしょうか? – Lauris01
ハイブは「ハイブサーバー間で通信しません」。 JDBC/Thriftクライアントは、他のサーバーに直接接続します。たとえば、JDBCの場合、 'jdbc:hive2:// other-hiveserver2:10000'を実行し、それはbeelineで動作します –
したがって、サーバーAのhive-site.xmlにはこのドライバのプロパティが1つしかありません。プロパティ名は何ですか? – Lauris01