PySpark：私たちはpysparkコードからhqlを実行できます

Question

私はhqlコマンドを.hqlファイルに書き込むPysparkコードを持っています。 hqlファイルを直接実行するためにサブプロセスライブラリを使用することを考えましたが、hql isntが実行され、プログラムが正常に終了しています。

私はsqlcontextを使用して、個別にそれを実行していますが、私はサブプロセスのコマンドからこのhqlファイルを実行したいisntこれは可能です???

注：私はないの.pyコード

Answer 1

を実行するために火花提出あなたは直接火花-SQLは、内部で火花提出呼び出す

火花-SQL

$ spark-sql –master yarn-client <..other parameters for executor memory etc..> -i ./script.hql 

でシェルスクリプトでそれを提出することができます。