partitioning

1熱

1答えて

ランダムに生成された一意のIDを使用すると、カーディナリティがかなり大きくなることは間違いありませんか？ 5つのカテゴリ値のように、カーディナリティーが低いキーがあり、それを配布したい場合は、パーティションキーをコンポジットキーにすることをお勧めします。しかし、これは、そのキーのすべてのレコードを取得するために、クエリで複合キーのすべての部分を指定する必要があります。この場合でも、生成された

0熱

1答えて

PartitionerはStepExecutionListenerを実装しますが、beforeStepは呼び出されません

私はこの仕事を持っていますが、それを実行するとパーティショナーのbeforeStepメソッドが呼び出されることはありません。私は間違って何をしていますか？ @Configuration public class SomeJob { @Bean(name = "some-job") public Job job() { return jobBuilderFactory.get(ge

0熱

2答えて

私のスパークアプリケーションで不完全に指定されたエラーを分割する

以下のコードを見てください。パーティション数の値を渡すと、以下のコードでエラーが発生します。 def loadDataFromPostgress(sqlContext: SQLContext, tableName: String, columnName: String, dbURL: String, userName: String, pwd: String, part

1熱

1答えて

タイプに値を追加して、それに基づいてデータベースの断片化を行うことはできますか？

私は、次の表を作成することとしましょう： CREATE TABLE MYTABLE (COLUMN1 INT NOT NULL, COLUMN2 myType NOT NULL); 私は「グリーン」と「赤、「白」、「青」例えば、4つの値のみを持つことができますMYTYPE名前付きの型を、作成したいです" 私はこのようにそれを作成する必要がありますどのように、私はそれを行う場合 INSERT

0熱

1答えて

別の鍵を使うためにmysql innodbパーティションを変更するには？

私は5つのハッシュ（key_1）パーティションを持つテーブルを持っています。私はそれを変更したいので、代わりに5つのハッシュ（key_2）パーティションがありますが、データを失うことはありません。どうすればよいですか？私は検索しましたが、パーティションを削除してデータを失わないという確認を見つけるのは難しいです。

1熱

1答えて

再帰を使用した線形分割

同様の質問があることは知っていますが、それらを使用してコードを変更することはできません。 n = [8,6,7,2,1,4]のこのコストと3人の作業者がそれを行うための作業がいくつかあるとします。したがって、パーティションを作成する最良の方法を計算したい場合は、すべてのオプションを評価することができます（これは再帰関数で行いたいものです）。これらは、すべてのオプションのようになります。 1- 1s

1熱

1答えて

未分類配列のk番目に小さい要素を見つける

次の擬似コードを実装しようとしています。私は論理パーティションだけを使ってこれを行う必要があります。ここで Procedure SELECT(k,S) { if |S| =1 then return the single element in S else { choose an element a randomly from S; let S1,S2,and S3 be

0熱

1答えて

パーティションSQL Serverの非主キー列の表

私はそれがエラーを取得している非主キー列に表パーティションを作成しようとしています：パーティションを作成する方法 CREATE PARTITION FUNCTION PartitionFuncByCntry (int) AS RANGE RIGHT FOR VALUES ('10','11','12','15'); CREATE PARTITION SCHEME PartitionSchem

0熱

1答えて

SimpleAsyncTaskExecutorがスレッドを解放しない

同じJVMインスタンス内から複数のバッチ・バッチ・パーティション・ジョブを実行しています。それぞれは3つのスレッドを使用するように設定されていますが、新しいジョブが開始するたびに、SimpleAsyncTaskExecutorがスレッド番号を増やし続けるというログが表示されます。第1ジョブショー： 09：53：02.370 [SimpleAsyncTaskExecutor-1] INFO ...

0熱

1答えて

spark-sqlを使用してsparkでハイブの動的パーティションを増やすことができません

テーブルからデータを選択し、別のハイブパーティションテーブルに結果を挿入するハイブクエリを実行中です。spark-sql。挿入するには1536個のパーティションが必要です。しかし、スパークは、私は以下に2000年に最大パーティションを増加本家1536個のパーティションにデータを挿入することができないコマンドです：火花-SQL --master糸--num-のエグゼキュータ14 --execut