combiners

0熱

1答えて

先週、私は次のようにquestionを掲示しました。アイデアは、変数 "id"に基づいて観測値をランダムに組み合わせてデータベースの内容を決定するループを作ることでした。例えば：データセット1：ID 1、2、3、4、5、6、7、8の組み合わせ... データセット2：ID 1,2の組み合わせ、 3 データセット3：ID 2、3、4の組み合わせ、5 セット4：ID 5、6、7、8、9、10の組み合

1熱

1答えて

スパークが大量のデータをシャッフルしています

私はスパークジョブを作成しました。以下のようになります： public class TestClass { public static void main(String[] args){ String masterIp = args[0]; String appName = args[1]; String inputFile = args[2]; String output = arg

-2熱

3答えて

JavaScriptの配列は、私はこのようなJSの配列があるとユニークな配列に

を取得する要素を組み合わせ： [ { "lat": 49.26125, "lon": -123.24807, "weight": 120 }, { "lat": 49.26125, "lon": -123.24807, "weight": 80 }, { "lat": 49.26

0熱

1答えて

Hadoop MapReduceがコンバイナを実行するときの決定的なソース

これと同じような質問が既にあり、矛盾する回答があります。私はまた、文学やブログで矛盾する声明を見つけました。 Hadoopの最終ガイドでは、と記載しています。Hadoopは、特定のマップ出力レコードに対して[コンバイナ]が何回呼び出されるかを保証するものではありません。言い換えれば、コンバイナ機能ゼロを呼び出して、一つまたは多くの時間が減速から同じ出力を生成しなければならないここに同様の質問O

0熱

1答えて

複数の辞書をキーと値で組み合わせる？

時間があり、他の投稿からの提案を受けて、私は自分の問題を解決できませんでした。私は多くの辞書を管理しなければなりません（今まで私が働くことを知っている唯一の方法です）。私が結合したいすべての辞書について、そのうち3つは同じ鍵（d1、d2およびd3）を持っています。 d1 = {key1: [x1, x2, x3], key2: [y1, y2, y3], key3: [z1, z2, z3]}

0熱

2答えて

Java 8ストリーム - 関数のコンバイナが実行されないようにする

私は3つの引数を持つ簡単なreduceメソッドを使用しています。アイデンティティ、アキュムレータおよびコンバイナ。はここで... Integer ageSumComb = persons .stream() .reduce(0, (sum, p) -> { System.out.println("Accumulator: Sum= "

0熱

1答えて

PhpStormのJavaScriptファイルをバンドルする方法

2つ以上のJavaScriptファイルをPhpStorm（OR WebStorm）の1つのファイルに結合する方法。私が検索し、ちょうどこの結果を見つけたが、それは答えではありませんしました：Visual studio Bundler & Minifier plugin： Minifying JavaScript が、私はこのような何かをしたいです。

1熱

1答えて

combineInputFormatはHiveでどのように動作しますか？

私は次のプロパティ Unbucketed が3.5メガバイト各の50個のファイルを持つパーティションが作成されていない TextFileのフォーマットでハイブテーブルを持っているがフォーマットの記述」からテーブルパラメータに従います"コマンドテーブルパラメータ： COLUMN_STATS_ACCURATE true numFiles 50 totalSize

0熱

3答えて

シャッフルフェーズとコンバイナフェーズの違いは何ですか？

私はMapReduceフレームワークについてかなり混乱しています。私はそれについてさまざまな情報源からの読書を混乱させている。ところで、これは私のMapReduceジョブのアイデアです 1. Map()-->emit <key,value> 2. Partitioner (OPTIONAL) --> divide intermediate output from mapper and