CassandraからSQLへのデータ転送にTalendオープンスタジオを使用しています。 Talendジョブを使用してデータを読み取っているときに、データが失われることがあります。そして私たちは同じことについて何かエラーを見つけることができません。 Cassandra System/Debug Logでも非常に限られた情報しか表示されません。このデータ損失を避けるためにCassandraまたはTalend Openスタジオで設定できる設定はありますか?Talendを使用してCassandraからSQLにデータを転送中
注:私たちは5Mレコード/時を扱っており、約1%のデータ損失がありません。これは一貫した問題ではなく断続的な問題です。
この問題を引き起こす可能性のある多くの点(ネットワーク、OS、Java、RAM/CPU)があるかもしれないと私には思われます。 Talendが実際に問題になっているかどうか、またはデータ損失が事前に起こっているかどうかを調べると役に立ちます。私はあなたがそれを排除することができないことがわかります。あなたは、データが漏れている場所を知ることにいくつかの考えを置くべきです。 – tobi6
興味深い質問ですが、非常に幅広く、特定のプログラミング問題ではありません。限られた情報があれば、どんな答えでも推測できます。 – Andrew
私はCPU、RAM、OSをすべてチェックしましたが、転送中にいくつかのデータが失われていました。 – BjMangat