Apache FlinkでBucketingSinkを使ってORCファイルに書き込む方法は？

Question

私はkafkaメッセージを読み込み、AWS s3のORCファイルにメッセージをダンプするFlinkストリーミングプログラムに取り組んでいます。私は、FlinkのBucketingSinkとORCファイルライターの統合に関する文書はないことを発見しました。このようなORCファイルライタの実装はBucketingSinkで使用できません。

ここには何か考えがありますか？

Answer 1

私は同意すると、BucketingSink ORCファイルのライターは素晴らしい機能になります。しかし、まだFlinkには貢献していません。あなたはそのような作家を自分で実装しなければなりません。

Flinkに寄稿することを考えているなら、Flinkコミュニティが作家のデザインとレビューに役立つと確信しています。