が、私は、オブジェクトを持つクラスタモード

Question

でDistributedCached使用：

class Cache { 
    Map<K,V> map; 
} 

私はその後、各マップのタスクでセットアップ（）関数の中で、私は処理のために、このCacheオブジェクトをロードし、URIは、このオブジェクトが含まれている指定するDistributedCacheを使用しました特に、各Mapタスクにある値を格納するためにCacheオブジェクトを使用しました。

私の質問は、クラスタモードでhadoopを実行すると、各データノードのマップの内容がそれぞれ異なることです。そうですか？なぜなら、私がローカルモードで開発したとき、マップの内容にはデータセット全体の結果が含まれていたからです。

Answer 1

DNに保存されるデータは同じ形式になり、マッパーは同じ形式のファイルを処理します。ドライバコードでは、入力と書式のタイプを定義する必要があります。この場合、コンテキストは同じになります。マップタスクが任意の数のDNで実行される場合、マップコンテキストは同じになります。

分散キャッシュでは、DistributedCache APIを使用してファイルを追加します。また、セットアップメソッドでは、Pathオブジェクトの配列の中で処理したいファイルをチェックします。