1
私はパラメータを指定して、コマンドラインからspark-sql
を実行したいと思います:spark-scalaではなく、spark-SQLにパラメータを渡す方法は?
$ spark-sql myscript.sql hdfs://mydir/myfile.tsv
myscript.sql
でパラメータが
LOAD DATA LOCAL INPATH $PARAM1 INTO TABLE T;
PSを使用する必要があります:私はspark-shell
とでそれを行う方法を知っています。しかし、それは私が探しているものではありません。
'火花-SQL:
次に、SQLコードでこの
INPUT
変数を使用できますか? – philantrovert'spark-sql --help'からSQLスクリプトの中でparamsを使う方法はありません(' INPATH $ PARAM1'参照)。 –