構造化ストリーミングデバッグ入力

Question

受信データを印刷する方法はありますか？例えば、私はjStreamファイルを探しているフォルダにreadStreamを持っていますが、集計出力に「nulls」が表示されているので問題があるようです。

val schema = StructType(
     StructField("id", LongType, false) :: 
     StructField("sid", IntegerType, true) :: 
     StructField("data", ArrayType(IntegerType, false), true) :: Nil) 

    val lines = spark. 
     readStream. 
     schema(schema). 
     json("in/*.json") 

    val top1 = lines.groupBy("id").count() 

    val query = top1.writeStream 
     .outputMode("complete") 
     .format("console") 
     .option("truncate", "false") 
     .start() 

Answer 1

データを出力するには、書き込み可能なqueryNameを使用して、書き込みストリームにqueryNameを追加します。

val query = top1.writeStream 
     .outputMode("complete") 
     .queryName("xyz") 
     .format("console") 
     .option("truncate", "false") 
     .start() 

実行これはあなたの例では

、あなたはSQLクエリ

%sql select * from xyz 

を使用してデータを表示することができたり、

val df = spark.sql("select * from xyz")