partitioning

7熱

2答えて

私はpartitionBy関数が私のデータを分割することを理解します。 rdd.partitionBy(100)を使用すると、キーでデータを100個に分割します。類似したキーに関連付けられたデータがまとめてグループ化されます私の理解は正しいですか？利用可能なコア数に等しいパーティション数を使用することをお勧めしますか？処理がより効率的になりますか？私のデータがキー値形式でない場合はどうなりま

12熱

1答えて

カッサンドラを犠牲にするのはCAP定理のどの部分ですか？なぜですか？

Cassandraでのパーティションの問題をシミュレートする方法については、Kingsby's Jesper libraryでgreat talk hereがあります。私の質問は - あなたは主にCAP定理のパーティショニングの部分に関心がありますか、またはコンシステンシーはあなたも同様に管理する必要がある要素ですか？

1熱

2答えて

すべてのパーティションを削除するDiskpartスクリプト

ドライブレターの値をとり、そのドライブレターの対応するデバイスのすべてのパーティションを削除するDiskpartスクリプトを作成しようとしています。私が現在持っているスクリプトが select Disk 1 select partition 0 delete partition select partition 1 delete partition ですが、明白な問題ではなくハードよ

6熱

1答えて

パーティショニング！どうしたの？ハッシュ関数を使用しますか？デフォルト機能は何ですか？

パーティショニングは、どのレデューサーインスタンスがどの中間キーと値を受け取るかを決定するプロセスです。各マッパーは、それらの出力を受け取るすべての出力（キー、値）のペアを決定する必要があります。任意のキーに対して、どのマッパーインスタンスがそれを生成したかにかかわらず、宛先パーティションは同じである必要があります問題：hadoopはどのように作成しますか？ハッシュ関数を使用しますか？デフォルト

1熱

1答えて

スパーク単一のキーでストリーミングの並列化

Spark StreamingでJavaでプロトタイプのアプリケーションを構築しました。このアプリケーションでは、HyperLogLogを使用して、シミュレートされたクリックストリームから別のユーザーを見積もります。私の解決策を簡単に説明しましょう。 JavaDStream<String> fullvisitorids = directKafkaStream.map(line -> line._

7熱

1答えて

HiveはSparkによって生成された分割された寄せ木馬ファイルを読み取らない

Sparkで生成された分割された寄せ木馬ファイルを読み取る際に問題があります。私はハイブで外部テーブルを作成することができますが、いくつかの行を選択しようとすると、ハイブは行なしの「OK」メッセージのみを返します。 Sparkで分割された寄木細工のファイルを正しく読み取ることができるので、正しく生成されたと仮定しています。パーティションなしでハイブで外部表を作成すると、これらのファイルを読み取る

-1熱

2答えて

クイックソートは、すべて同じ要素の配列に対してどのように機能しますか？

たとえば、サイズ7の配列にはすべて3が含まれます。 <3a, 3b, 3c, 3d, 3e, 3f, 3g> 文字は、デモのために3の「同一性」を識別するために使用され、実際にはデータの一部ではありません。

0熱

1答えて

DocumentDBパーティショニングコレクションはPower BIでサポートされていませんか？

Partitioned CollectionsでDocumentDBを使用しようとしています。この機能では、パーティションキーをHTTPヘッダーに渡す必要があります。これによりAzureはすべてのパーティションを処理できます。私はパワーBIに分割コレクションを使用すると、私は次のエラーを取得する：この機能は、電源BIでサポートされていませんか？

0熱

2答えて

ハイブパーティションの仕組み

ハイブパーティションの仕組みを知りたい私はコンセプトを知っていますが、その仕組みと正確なパーティションの格納方法を理解しようとしています。私はテーブルを持っていると私はパーティションを作成し、厳密なパーティションに正確なデータを格納する方法ハイブは、2013年から動的な、摂取されたデータ年にパーティションを作成しました。

6熱

1答えて

ポストグルでの動的テーブルの分割

たとえば、タイムスタンプに基づいてテーブルにpostgresパーティションデータを入れる方法を探していましたが、関連する子テーブルを手動で追加する必要はありませんでした。私はちょうどその https://blog.engineyard.com/2013/scaling-postgresql-performance-table-partitioning を行い、このブログの記事を見ましたが、私は、文