partitioner

0熱

1答えて

複数のブローカーからのメッセージを消費するためにJavaでKafka Consumer Clientを書くには？

私は複数のブローカーからのメッセージを消費するためにJavaクライアント（Kafka Consumer）を探していました。アドバイスをお願いします以下は、単純なパーティショナーを使用して複数のブローカーにメッセージを公開するために書かれたコードです。トピックは複製係数 "2"とパーティション "3"で作成されます。 public int partition(String topic, Obje

0熱

1答えて

タイプHashPartitionerはorg.apache.spark.sql.SparkSessionのメンバーではありません

SparkのHashPartitionerを使用するためにspark-shellを使用していました。エラーは次のように表示されます。 scala> val data = sc.parallelize(List((1, 3), (2, 4), (3, 6), (3, 7))) data: org.apache.spark.rdd.RDD[(Int, Int)] = ParallelCollecti

1熱

1答えて

パーティショナーのhadoopで分散キャッシュを使用するには？

私はhadoopとmapreduceパーティーで新しくなりました。私は自分のパーティショナーを書いています。パーティーでファイルを読む必要があります。私は何度も検索し、分散キャッシュを使うべきだということを知っています。これは私のhadoopパーティーで分散キャッシュを使用するにはどうすればよいのでしょうか？私はパーティーで何を書くべきですか？ public static class CaderP

6熱

1答えて

Hadoopはすべてのレデューサーにレコードを送信します

すべてのレデューサーに特定のレコードを送信するにはどうすればよいですか？私はPartitionerクラスとそれが何をしているのか知っていますが、すべてのレデューサーにレコードを確実に渡すための簡単な方法はありません。基本的には、パーティショナは、この方法があります：マッパーがレコードに減らすの数だけを出力し続ける：次のように私の最初のアイデアが協力パーティショナとマッパーを持っていることでした

0熱

1答えて

Hadoop Map Reduce - Reducerの数

異なる年齢の会社の従業員のデータを持つユースケースがあります。私は3つの年齢のグループの男性と女性の従業員の最高給与を見つける必要があります。 plsはリンクの下に行くの詳細について - http://www.myhadoopexamples.com/2014/03/01/hadoop-mapreduce-example-with-partitioner/ 私の質問は - ここでは、マッパーすな

0熱

3答えて

シャッフルフェーズとコンバイナフェーズの違いは何ですか？

私はMapReduceフレームワークについてかなり混乱しています。私はそれについてさまざまな情報源からの読書を混乱させている。ところで、これは私のMapReduceジョブのアイデアです 1. Map()-->emit <key,value> 2. Partitioner (OPTIONAL) --> divide intermediate output from mapper and

0熱

1答えて

Hadoop Oozie MapReduceアクションカスタムパーティショナー

MapReduceアクションのoozieワークフローXMLでカスタムパーティショナーを設定する方法は？私は使ってみました： <property> <name>mapreduce.job.partitioner.class</name> <value>com.package.MyPartitioner</value> </property> <property> <