Apache Geode（Gemfire）にデータをバルク/バッチロードするオプションは何ですか？

Question

Apache Geodeに何百万ものキー/値をロードする必要があり、利用可能なオプションがいくつかあります。我々の価値は256kbの範囲内にある。

Answer 1

などあなたが変換や他の変換を実行する必要があるかどうか、いくつかのアプリケーションの要件/ SLAのに応じて、オプションや、すぐに使える

1. がありますが、ApacheののGeodeはCache & Region Snapshot Serviceを提供します。これは、既存のApache Geodeクラスタから別のApache Geodeクラスタにデータを移行する場合などに便利です。あなたのデータがRDBMSのような外部ソースから来ている場合にはそれほど役に立ちません。

2. もう1つの選択肢は、必要に応じてデータを遅延ロードすることです。これは、CacheLoader interfaceとregisteringCacheLoaderをRegionに実装することで実現できます。明らかに、現在の要求に基づいて関心の単一の値をロードして返すだけでなく、いくつかのルール/基準に基づいてデータブロックをインテリジェントにロードするCacheLoader実装を作成できます。

3. 多くの場合、ユーザーは外部のカスタム変換プロセスまたはツールを作成して、多数のデータをApache Geodeに抽出、変換、およびバルク・ロード（ETL）します。これは複雑なユースケースや要件では一般的です。しかし、それはおそらくフレームワーク/ツールなどを使用することを強くお勧めし...

4. Spring XD（今Spring Cloud Data Flowのピボタルのクラウドファウンドリー（PCF））は、ストリームベースのアプリケーションを作成するための優れたETLツールとパイプラインです。 Spring XD/SCDFでは、「sources」と「sinks」（たとえばGemFire Server）にさまざまなオプションが用意されています。 ソース & シンクに加えて、 "Processors"でストリームを「タップ」してデータを処理することもできます。したがって、リアルタイムストリームまたはバッチ指向のデータ操作（例：バルクロード）を行っている場合でも、Spring XDは素晴らしいオプションです。

5. Googleは、Apache GeodeのようなKeyValueストアでETLを実行する方法について、他の回答を提供する可能性があります。

希望すると、これはあなたを助けます。

乾杯、 ジョン