0
私は大きなSQLファイルを実行するためにspark-sqlを使用しています。私はスパークを実行する前に、ハイブ詳細モードと同様のSQLクエリをログに記録します。私は-v
パラメータでspark-sql CLIを冗長にしようとしましたが、それでもSQLクエリは表示されません。spark-sql CLIでSQLクエリを出力するには?
spark-sql -v \
<configuration parameters> \
-f abc.sql
ハイブコマンド:
hive -v \
<configuration parameters> \
-f abc.sql
私はSQLクエリを印刷するには行方不明です他の火花の設定はありますか?
のために動作します。その後、任意のロガーを使用している場合は、その文字列をログに記録します。次のようにします。 - String sqlQuery =/* mysqlQuery * /; sparl.sql(sqlQuery)。 Logger.print(sqlQuery) –
あなたの提案をありがとう。私はSQLクエリのみを実行できるようにするspark-sql CLIを使用していますが、sparkContext、logger、sparkSessionなどのオブジェクトにはアクセスできません。 –