2017-09-27 12 views
0

私は大きなSQLファイルを実行するためにspark-sqlを使用しています。私はスパークを実行する前に、ハイブ詳細モードと同様のSQLクエリをログに記録します。私は-vパラメータでspark-sql CLIを冗長にしようとしましたが、それでもSQLクエリは表示されません。spark-sql CLIでSQLクエリを出力するには?

spark-sql -v \ 
<configuration parameters> \ 
-f abc.sql 

ハイブコマンド:

hive -v \ 
<configuration parameters> \ 
-f abc.sql 

私はSQLクエリを印刷するには行方不明です他の火花の設定はありますか?

+0

のために動作します。その後、任意のロガーを使用している場合は、その文字列をログに記録します。次のようにします。 - String sqlQuery =/* mysqlQuery * /; sparl.sql(sqlQuery)。 Logger.print(sqlQuery) –

+0

あなたの提案をありがとう。私はSQLクエリのみを実行できるようにするspark-sql CLIを使用していますが、sparkContext、logger、sparkSessionなどのオブジェクトにはアクセスできません。 –

答えて

0

spark-sql冗長モードは--vですが、ハイブ冗長モードは-vです。コマンド以下
は、文字列としてクエリを保存することができME-

spark-sql --v \ 
<configuration parameters> \ 
-f abc.sql 
関連する問題