HDFSが使用されていない場合のデータローカリティ

Question

HadoopのMap/Reduce部分のデータローカリティ機能は、MySqlサーバなどのHDFS以外の別のストレージを提供するとどうなりますか？言い換えれば、Hadoop Map/Reduceはデータローカリティを使用してデータと同じノード上でマップタスクを起動しようとしますが、データがsqlサーバーに格納されると、タスクノードにローカルデータは存在しません。すべてのデータはSQL Serverノードにあります。その場合、データの局所性が失われるか、データの局所性の定義が変化していますか？それが変わったら、新しい定義は何ですか？

Answer 1

データがクラスタ内に存在しない場合、データのローカリティはありません。すべてのデータをリモートソースからコピーする必要があります。これは、HDFSのデータを含むノードでタスクを実行できない場合と同じです。 S3、HBase、DBなどのリモートソースを使用するいくつかの入力フォーマットがあります。 HDFSにあなたのデータを入れることができればそれは素晴らしいことです。私は頻繁に更新される少量のデータのためにリモートソースとしてMongoを頻繁に使用しており、結果に満足しています。