入力タイプは文字列タイプである必要がありますが、Scalaを使用してSparkでArrayType（StringType、true）エラーが発生しました

Question

Sparkの新機能で、基本的な分類子を作成するためにScalaを使用しています。私はテキストファイルからデータセットを読み込み、それを訓練とテストデータセットに分割しています。次に、トレーニングデータをトークン化しようとしていますが、失敗します。

Caused by: java.lang.IllegalArgumentException: requirement failed: Input type must be string type but got ArrayType(StringType,true). 
at scala.Predef$.require(Predef.scala:224) 
at org.apache.spark.ml.feature.RegexTokenizer.validateInputType(Tokenizer.scala:149) 
at org.apache.spark.ml.UnaryTransformer.transformSchema(Transformer.scala:110) 
at org.apache.spark.ml.Pipeline$$anonfun$transformSchema$4.apply(Pipeline.scala:180) 
at org.apache.spark.ml.Pipeline$$anonfun$transformSchema$4.apply(Pipeline.scala:180) 
at scala.collection.IndexedSeqOptimized$class.foldl(IndexedSeqOptimized.scala:57) 
at scala.collection.IndexedSeqOptimized$class.foldLeft(IndexedSeqOptimized.scala:66) 
at scala.collection.mutable.ArrayOps$ofRef.foldLeft(ArrayOps.scala:186) 
at org.apache.spark.ml.Pipeline.transformSchema(Pipeline.scala:180) 
at org.apache.spark.ml.PipelineStage.transformSchema(Pipeline.scala:70) 
at org.apache.spark.ml.Pipeline.fit(Pipeline.scala:132) 
at com.classifier.classifier_app.App$.<init>(App.scala:91) 
at com.classifier.classifier_app.App$.<clinit>(App.scala) 
... 1 more 

エラーです。

コードは以下の通りです：

val input_path = "path//to//file.txt" 

case class Sentence(value: String) 
val sentencesDS = spark.read.textFile(input_path).as[Sentence] 

val Array(trainingData, testData) = sentencesDS.randomSplit(Array(0.7, 0.3))  

val tokenizer = new Tokenizer() 
    .setInputCol("value") 
    .setOutputCol("words") 

val pipeline = new Pipeline().setStages(Array(tokenizer, regexTokenizer, remover, hashingTF, ovr)) 
val model = pipeline.fit(trainingData) 

どのように私はこの問題を解決するのですか？どんな助けもありがとうございます。

パイプラインのすべてのステージを定義しましたが、コードスニペットには入れていません。

Answer 1

パイプラインの実行順序を変更すると、エラーが解決されました。

val pipeline = new Pipeline().setStages(Array (indexer, regexTokenizer, remover, hashingTF)) 
val model = pipeline.fit(trainingData) 

tokenizerはregexTokenizerに置き換えられました。

Answer 2

使用このガイド

http://spark.apache.org/docs/latest/ml-pipeline.html#pipeline-components

そして、あなたが必要なすべての引数setStages方法かどうかを定義した場合、それは明らかではないが、上記のコードからコード全体を、提供してください。