data-partitioning

0熱

1答えて

Google Cloud Storageの履歴データをPythonを使用して日付分割されたbigqueryテーブルに移動する

Google bigqueryの日付パーティションに大量の履歴データを整理する必要があります。それはあなたのための負荷日付を分割します（現在の日付のみ）が、それは本当に履歴データを助けません。私が今見た唯一の解決策は、Googleがツールをもう少し構築するまで日付フラグを使用して日付ごとに手動で行うことです。どんな解決策ですか？

2熱

1答えて

Rでsample.splitを使用してデータが正しく分割されず、ロジスティック回帰で発行される

2つの問題があります。私は以下のようにsample.splitを使用して、テストや電車のセットに私のデータを分割しようとすると、サンプリングはかなり不鮮明に行われます。私が意味するのは、データdの長さが392であるため、4：1除算では0.8 * 392 = 313.6つまり313または314行がテストセットに表示されますが、示されている長さは304です。行方不明ですか？ require(caTo

0熱

1答えて

作成する列を確認する方法パフォーマンスを最適化するためのインデックス

以下のクエリは時間がかかりすぎてクエリのパフォーマンスを最適化する必要があります。いずれの表にも索引はありません。しかし、クエリのパフォーマンスの最適化のために、私はインデックスを作成することを考えています。しかし、私はインデックスを作成する必要がありますparticularyフィルタリング列にはわからない。私はグループ化を行い、フィルタリングされた列条件のすべてのレコードの個数を数え、次にイ

0熱

1答えて

ウィンドウを定義して複数のアナリティック・カラムで使用する

同じウィンドウ内に複数の分析関数を使用する必要があるOracleクエリーがあります。ウィンドウを一度定義してからこれらの呼び出しごとに使用するにはどうすればよいですか？ I.e.私はPostgreSQLのようにそれを書くためにしたい： SELECT sum(salary) OVER w, avg(salary) OVER w FROM empsalary WINDOW w

-2熱

4答えて

整数の配列を偶数と奇数に分割する方法は？

配列を分割したい（例えば[1,2,3,4,5,6,7,8]）、最初のパーティションは偶数の値、2番目の奇数の値（例の結果：[2,4,6,8,1,3,5,7]）を保持する必要があります。私はこの問題を組み込みのArray.prototypeメソッドで2回解決することができました。第1の解決策は、mapおよびsortを使用し、次はsortです。ソートアルゴリズムを使用する3番目のソリューションを作

1熱

2答えて

MYSQLでキーベースのテーブル分割を使用して動的なパーティション数を作成する方法は？

私は、mysqlを使ってパーティションテーブルを作成しようとしていますが、パーティションの数を指定したくありません。例えば、与えられたテーブルでは、私は各地域ごとに100,000以上のレコードを持っています。私は地域を知らない。彼らは後で来るでしょう。領域に基づいてパーティションの数が増えるはずですが、シンタックスの下では、値が異なる複数の行を挿入しても、単一のパーティションが作成されます。私は

1熱

1答えて

ファイルごとのスパークパーティション

私はスパークを使用して処理したいサイズの約30MB（圧縮解除後約120-160MB）のS3バケットに数千の圧縮CSVファイルを持っています。私のスパークジョブでは、各行で簡単なフィルタ選択クエリを実行しています。 Sparkのパーティション分割では、ファイルを2つ以上の部分に分割し、パーティションごとにタスクを作成しています。各タスクは125Kレコードを処理するだけで約1分かかります。私は、1つ

3熱

2答えて

SQLパーティション行のグループを交互に変更することによって

私はこのようなデータテーブルを持っています。 |Key|LotId|TransactionType|Quantity|Destination |1 |A |Transform |NULL |Foo |2 |A |Transform |NULL |Bar |3 |A |Consume |100 |NULL |4 |B |Transform |NULL |Bob |5 |B |Tr

-1熱

1答えて

変換後のスパークデータフレームのパーティション数を保存する

データフレームが必要以上（700以上）のパーティションに分割されているコードのバグを見ています。これはシャッフル操作が多すぎますそれらを48パーティションに再分割することができます。パーティションを分割する前に、まずパーティションを少なくしたいので、ここでは合体（）を使用できません。私はパーティションの数を減らす方法を検討しています。たとえば、スパークのデータフレーム（複数の列を持つ）が10個の

3熱

2答えて

Azure Data LakeでのU-SQL出力

テーブルに含まれる異なるキー値の数がわからない場合は、列の値に基づいて複数のファイルに自動的に分割できますか？キー値をファイル名に入れることはできますか？