partitioning

2熱

1答えて

ハイブでSkewed tablesを実行した後、スキュードテーブルのデータの格納方法と、パーティションテーブルの処理方法とが混同されました。誰かが明確にどここれら二つの概念 Skewed Tables and Partitioned Tables 一致とどこが異なるのとマークされた例との違いを述べることはできますか？例を挙げてください。

-1熱

2答えて

Windowsサーバー2012でCドライブを拡張するにはどうすればいいですか

ウィンドウサーバー2012でディスクドライブCを拡張するにはどうすればいいですか？図のように57GBの空き容量があります。サーバーマネージャ - >File and Storage Services - >volumes - >、右クリックし、拡張が、私は失敗し、エラーメッセージを拡張を取得し、これを行うための最善の方法は何ですか？

0熱

1答えて

Amazon Athenaにパーティションを照会する

パーティションをいくつかの属性で、それぞれのパーティションに入れたいとします。パーティション私はJSONのレコードといくつかのファイルを持っています。特定の属性に対してレコードが作成される時期を指定する属性（日付より前に作成されたすべてのレコードを指定します）を使用してクエリを実行したいとします。パフォーマンスを向上させるには、ファイルを日付順に並べ替える必要がありますか？アテナは最初のレ

0熱

1答えて

Cassandraはどのように選択クエリを処理しますか？

私はCassandraカラムファミリーの設計に取り組んでいます。より高い密度のデータを読み込んだ後で、SELECTを実行している間にGCが高いという状況に遭遇しました。つまり、パーティション内のデータ量が増加しました。また、低密度データの場合、正常に動作します。 CassandraがどのようにSELECTクエリを実行するのかを知りたい（パーティションキーとクラスタキーの両方が指定されている） S

0熱

1答えて

同じキーを持つ2つのRDDに同じHashPartitionerを適用すると、同じパーティションにならない

同じキーと異なる値を持つ2つのRDDがあります。私は .partitionBy(partitioner)同じそれらの両方に呼び出してから、私はそれらを結合： val partitioner = new HashPartitioner(partitions = 4) val a = spark.sparkContext.makeRDD(Seq( (1, "A"), (2, "B"),

0熱

1答えて

メインテーブルのスキャンを避ける方法

複数のテーブルを数日間継承してテーブルを分割しました。理論的にはAVLテーブルは、任意のデータ CREATE OR REPLACE FUNCTION avl_db.avl_insert_trigger() RETURNS trigger AS $BODY$ BEGIN IF (NEW.event_time >= '2017-06-01 00:00:00' AND NEW.

0熱

1答えて

Spring Batch Partitionioning DBtoFile Javaの設定例

現在、Spring BootおよびSpring Batchアプリケーションでデータベースから200,000レコードを読み込み、処理してXML出力を生成しています。 JDBCPagingItemReaderを使用してDatabaseから10Kレコードのバッチを読み取り、この出力を生成するためにStaxEventItemReaderを使用するシングルスレッドSpringバッチプログラムを作成しました。

1熱

2答えて

セカンダリインデックスを持つ分散データにルーティングを使用できないのはなぜですか？私は次の記事を読んでいる

：Elements of Scale: Composing and Scaling Data platforms 私は、次の文章を理解する上でこだわっている：セカンダリインデックスは、主キーにない指標です。つまり、データはインデックス内の値で区切られません。ハッシュ関数による直接ルーティングはもはやオプションではありません。すべてのマシンにリクエストをブロードキャストする必要があります。これは

1熱

2答えて

Kafka消費者別の構成

特定のトピックに対していくつのパーティションが存在するかに基づいて、Kafkaコンシューマーグループが負荷分散されていることを理解します。したがって、理想的な組み合わせは、トピックのパーティション数とそのトピックにサブスクライブするコンシューマ・グループのコンシューマ数の1：1です。私は消費者グループが実際に消費者グループ（つまり、1グループあたり1消費者）であるというシナリオを持っています。こ