MapReduce：HashMapをマッパーに渡す方法

多くのセンサーからの多くのイベントをほぼリアルタイムで処理する必要のある新しい世代の解析システムを設計しています。そして、私はHadoop,Spark StreamingまたはFlinkのようなビッグデータ分析プラットフォームの1つを使用したいと考えています。MapReduce：HashMapをマッパーに渡す方法

各イベントを分析するには、テーブル（DB）からメタデータを使用するか、少なくともキャッシュされたマップにロードする必要があります。

問題は、各マッパーが複数のノードで並列化されることです。

だから私は扱うために二つのものがあります。

まず、どのようにマッパーにHashMapを渡す/ロードするの？
マッパー間でHashMapの一貫性を保つ方法はありますか？

出典

2017-02-16 Gal Dreiman

DistributedCacheは、あなたが探しているものです - http://stackoverflow.com/questions/21239722/hadoop-distributedcache-is-deprecated-what-is-the-preferred-apiすべてのマッパーがメタデータファイルを利用できるようにすることができます。 –

DBを照会することによって、各マッパーの 'setup（）'メソッドでハッシュマップを構築することもできます。 –

HadoopまたはSparkを使用しますか？解決策は全く異なることがあります。また、すべてのマッパーが同じ情報を持つ必要がありますか、それとも各マッパー固有のものですか？ –

SerializeをHashMapの構造は、ファイルのすべてのマッパー間でシリアル化されたHashMapを使用してファイルを広めるためにHDFSにし、MapReduceのジョブ構成フェーズでの使用DistributedCacheでそれを格納します。次にマップフェーズで各マッパーはファイルを読み込み、デシリアライズしてからこのHashMapにアクセスできます。

出典

2017-02-20 21:09:44 Denis

MapReduce：HashMapをマッパーに渡す方法

答えて

関連する問題