2017-10-01 10 views
-1

コードの末尾にscalaを使用してsparkを実行する必要があります。私は自分のコードでcountとgroupbyの関数を使いました。私は言及する必要があります、私のコードは、コードの最後の行なしで完全に動作します。Apache Sparkでスケーラを使用してシェルファイルを実行する方法

(import sys.process._ 
/////////////////////////linux commands 
val procresult="./Users/saeedtkh/Desktop/seprator.sh".!!) 

どうすれば解決するのか教えてください。

+2

私は_pretty_ていることを確認してね例外はコードからではありません。私はあなたのクエリが 'groupBy'と' count'演算子または関数を使っていることに気づいています( 'partial_count(1)'を参照)。そして、 'Scan ExistingRDD'は、あなたがKafkaをストリーミングクエリーのソースとして使用すると思うようになります(ストラクチャードストリーミング)。どれくらい間違っていますか? –

+0

@JacekLaskowski:あなたは正しいです。私はそれが私のスパークバージョンか何かのためだと思った!今私は何をすべきですか? – Reza

+0

スタックトレース全体を貼り付けることはできますか?私はあなたが私たちに最も関連性の高い部分を見せているとは思わない。ありがとう! –

答えて

1

あなたはScalaのSDKからsys.process._パッケージを使用して!でDSLを使用する必要があります。

import sys.process._ 
val result = "ls -al".! 

それともscala.sys.process.Processと同じ作りを:

import scala.sys.process._ 
Process("cat data.txt")! 
-1

ほとんどあります。 を追加する必要があります。 command.For例の最後に:私は、配列を使用

import sys.process._ 
val a = Seq("sh", "-c", " cal ").!! 
println(a) 

理由は、あなたが渡すパラメータの詳細な制御を持っているということです。 この記事を参照してください。How to execute shell builtin from Scala

関連する問題