partitioning

0熱

1答えて

pysparkのmapPartitions（）に渡す関数内でprintステートメントを使用してコードをデバッグできないという問題をどのように処理できますか？は例を考えてみましょう：FUNCインサイド def func(kv_iterator): for key, value in iterator: #do fancy stuff print('This pri

0熱

1答えて

同じパーティション：データフレームのために、後に、このデータフレーム

のRDDのために、私はデータフレームDFの仕様で複数のウィンドウ関数を使用します。 windowSpec = \ Window .partitionBy(df['customID']) 後、私が使用します。 df.rdd.map((x[0],x[0], x[1], x[2])) and df.mapPartitions(some func) 私のデータフレームのkv

0熱

1答えて

バケットから読み取るときのスパークパーティションの数 - S3 - GCS

S3とGCSはHDFSと反対のブロックストレージではないので、Sparkがこれらのソースから読み取るときにパーティションを作成する方法はわかりません。私は現在GCSから読んでいますが、小さなファイル（10バイト）には2つのパーティションがあり、中位のファイルには100 MBもあります。説明はありますか？

0熱

1答えて

ハイブでテーブルを変更するとバックエンドで何が起こる

パーティションを変更するようなハイブでテーブルを変更するとき。テーブルに何が起こるか。テーブルを再フォーマットするか、新しいパーティション用の新しいデータを作成しますか？

1熱

2答えて

Azure Cosmos DBコレクションのパーティションキー

私はAzure Cosmos DBに少し新しく、概念を理解しようとしています。私は、DocumentDBコレクションのために可能な限り最良のパーティションキーを決定するのを手伝っています。以下のパーティションキーを使用してパーティションが可能なイメージを参照してください。ブログ記事 hereで述べたように、理想的なパーティション・キーはクエリでフィルタとして頻繁に表示され、あなたのソリュ

1熱

1答えて

トリガー内でALTER DATABASEステートメントを使用できません

ユーザーがテーブルにデータを挿入するときにファイルグループを動的に作成したいが、SQL Serverは例外をスローします。私はSQL Serverエージェントでこれを処理できることを知っていますが、私のアプローチが正しくない場合は正しい方法を教えてください。大切にしてください。 ALTER TRIGGER [AuditTrigger] ON [Audit] INSTEAD OF INSER

0熱

2答えて

PostgreSQL：constraint_exclusionをオフにする必要があるのはいつですか？

公式documentからは、計画を実行するためにパーティション化されたテーブルとパーティション化されていないテーブルをチェックするのに多くの時間を費やしているようです。そのような場合、なぜオフモードがあるのですか？ありがとうございました

0熱

1答えて

PostgresqlのIDを固定のファイルに分割

Apache Sparkには、bucketByコマンドで複数のファイルに分割するオプションがあります。たとえば、ユーザーIDが1億人の場合、テーブルを32個の異なるファイルに分割できます。ここでは、ファイル間でデータを配布および参照するためのハッシュアルゴリズムが使用されています。 Postgresはテーブルを何とか固定数のパーティションに分割できますか？それがネイティブフィーチャでない場合でも、