contentTypeはHDFSシンクから書き込まれたデータにプレフィックスされています

Question

私はHDFSシンクを使用してHDFSに書き込みます。しかし、私がHDFSに書き出すペイロードには？contentType "text/plain"というプレフィックスがありますが、これはペイロードにはありません。 これがプレフィックスになっている理由と削除方法を教えてください。

stream create --definition "：ストリーミング--spring.cloud.stream.bindings.output.producer.headerMode = raw> myprocessor --spring.cloud.stream.bindings.output.content-type = text/plain --spring.cloud.stream.bindings.input.consumer.headerMode = raw | hdfs --spring.hadoop.fsUri = hdfs：//127.0.0.1：50071 --hdfs.directory =/ws/sparkoutput --hdfs。ファイル名= sparkstream - hdfs.enable-sync = true - hdfs.flush-timeout = 10000 --spring.cloud.stream.bindings.input.consumer.headerMode = raw --spring.cloud.stream.bindings。 input.content-TYPE = text/plainの」--name sparkstream

Answer 1

あなたがあなたにもmyprocessorrawの出力を行う必要がありhdfs入力するためのそのヘッダーモードをrawていると仮定されている場合 - 即ち

myprocessor --spring.cloud.stream.bindings.output.content-type=text/plain --spring.cloud.stream.bindings.input.consumer.headerMode=raw --spring.cloud.stream.bindings.output.producer.headerMode=raw 

または代替的に（シンクがちょうどそのペイロードを処理するため）あなたはhdfsにヘッダの設定を削除しなければなりません。