Hive -fは毎回新しいセッションを作成しています

Question

私は、複数のhqlファイルを呼び出すシェルで書かれたフレームワークを持っています。

ハイブをfile1.hql -f

ハイブ-f file2.hql

ハイブ-f file3.hql

各ハイブ-fコマンドを新しいセッションを作成し、実行するために多くの時間を取ってコマンド。多くの場合、これらのファイルの実際のクエリは迅速に実行されますが、大部分の時間は新しいセッション作成に使用されます。

デーヴハイブサポートセッションポーリング/またはhqlファイルで一度セッションを作成し、他のすべてのハイブ-fコールで再利用する他のメカニズム？

Answer 1

私が知っているように、それは不可能です。あなたのhqlファイルを1つのバッチファイルにマージすることをお勧めします。 代替と推奨のアプローチとして、HiveServer2サービスに切り替えることを検討できます。 Pythonでhttps://github.com/cloudera/impylaを使用しています。