Apache Kafkaはトピックを通して文字列以外のメッセージを送信できますか？

mllibモデルはどこかで訓練されていて、どこか別の場所に送信したいと思っています。私はカフカのトピックを通してそれを送信しようとすると、このApache Kafkaはトピックを通して文字列以外のメッセージを送信できますか？

よう

val model = LogisticRegressionModel.load(sc, "/PATH/To/Model")  
val producer=new Producer[String, LogisticRegressionModel](config) 
val data=new KeyedMessage[String, LogisticRegressionModel(topic2,key,model) 
producer.send(data) 
producer.close()

私はこのようなエラーが発生します：だから

org.apache.spark.mllib.classification.LogisticRegressionModel cannot be cast to java.lang.String

、それは可能カフカが話題を通じて文字列以外のメッセージを送信するためのものです？

出典

2016-10-26 Zefu Hu

はい。しかし、日付の種類とシリアライザを調整する必要があります。とにかくKafkaは内部的にバイト配列を処理し、実際のキーと値のデータ型には無関心です。プロデューサの設定で、適切なシリアライザ値タイプを設定しましたか。 –

@ MatthiasJ.Saxあなたの素早い答えをありがとう！私は以前は 'serializer.class'が' kafka.serializer.StringEncoder'であることを認識していませんでしたが、これを変更する必要がありますか？ –

カフカのプロデューサーを使用して、カフカのトピックに文字列以外のメッセージを送信できます。 0.9.0より、Scala ClientではなくJava Clientを使用する方が良いでしょう。

Propertiesに正しいKey, Value serializerを指定するだけです。

props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); 
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

出典

2016-10-26 03:07:41 Shankar

ありがとう！私はあなたを持っていますが、この場合、mllibモデルをシリアライズできるシリアライザが必要です。ライブラリにシリアライザがないと思われます。それはできません。 –

@ ZefuHu：使用できるシリアライザが見つからない場合は、カスタムシリアライザを作成できます。 – Shankar

ありがとう！ –

Apache Kafkaはトピックを通して文字列以外のメッセージを送信できますか？

答えて

関連する問題