一括データを転送するための最良の方法

Question

私には2つの要件があり、どちらもデータ転送に関係します。 最初のものでは、データベースのステージングテーブルにデータを持つアプリケーション 'A'があります。このデータは、別のアプリケーション 'B'に転送する必要があります。ここには毎日転送する必要がある約50k〜60kのレコードがあります。私はこれを転送する最良の方法は何か知りたいですか？私はまだファイルを作成して転送するか、Web-APIのものか何か他のもののための古い学校の方法に従うべきですか？ JAVAで何かを提案してください。

2番目のファイルでは、アプリ 'A'からアプリ 'B'に転送する必要があるファイルがあります。ファイルサイズは約10GBです。それを達成する最善の方法は何ですか？私はIBM ESBを見ましたが、他にも優れた代替品がありますか？

Answer 1

これは、おそらくかなり時間がかかる可能性があるため、すべてのAPIの外で行うのが最適です。

私の提案は、データをcsvにエクスポートし、ジップアップしてftpなどの他のシステムに転送することです。

2番目のシステムでは、あなたがftpのものがどこにあるかを監視する何かが必要です。この他のものは、2番目のシステムにデータを取得するのに役立ちます。私はAzureクラウドを使ってWebjobsを使ってこのようなシステムをセットアップしました。

また、あなたの特定のケースに適した何かを考え出すこともできます。