partition

0熱

2答えて

split（datetime）の最初の要素に基づいて文字列のリストを並べ替えます

私は文字列の長いリストをカンマで区切ります（基本的にcsvファイルは文字列に1行ずつ読み込み、 lines_sorted = sorted(lines, key=lambda x: datetime.datetime.strptime(lines, '%Y-%m-%d %H:%M:%S')) を私はファイル内のすべての行からタプルを抽出するためにpartitionを使用と考えていた： line

0熱

2答えて

kafkaのプロデューサのパーティション数をpartitionForメソッドを使用して0.8.0にする

kafkaバージョン0.8.0のプロデューサでpartitionsForメソッドをサポートしていますか？私は、このメソッドを使用して、カフカのトピックを与えられたパーティションの数を取得します。この方法をkafka 0.8.0で使用できない場合、この特定のバージョンのkafkaでプロデューサのパーティション数を取得する最も簡単な方法は何ですか？

0熱

1答えて

同じ分割された列に新しい分割フォルダを作成する分割されたハイブテーブルに、新しいデータを追加してインポートする方法はありますか？以下は私のシナリオです

私は、ハイブの日付カラムにパーティションテーブルを持っており、ハイブパーティションテーブルにデータを初めてインポートすることができます。これを実行すると、すべての日付フォルダが正しく作成され、ハイブテーブルのhdfsロケーションの各フォルダにデータがロードされました。今度はインポートして新しいデータを同じハイブテーブルに追加し、新しい更新日付（hdfsハイブの場所に新しい日付パーティションフォ

0熱

1答えて

laravelのパーティションクエリ

私は大量のデータをデータベースに格納しており、そのためにパーティションを作成しています。私は開発用にLaravelを使用しています。 Laravelでパーティションを作成してクエリを書き込む際に問題が発生しています。例： SELECT * FROM employees PARTITION (p1); このクエリを書きたい場合、これをLaravelに書き込む方法は何でしょうか。ご協力いただければ

1熱

1答えて

最後の5行の累積合計

SQLクエリに関して質問があります。私は、列Y.列Yの値に基づいて、列Xの値の最後の5行の累積実行中の合計を計算する必要がはい含まれている可能性があり、ノーまたは多分データの例は次のようになります。 Date Column X Column Y Yes cum total No cum total Maybe Total 31/8 1000 Y 1200 800 25

0熱

1答えて

ファイルのサイズがファイルシステムの最大サイズを超えている場合、どうなりますか？

たとえば、FAT32パーティションでは、最大ファイルサイズは4GBです。 vimで5GBのファイルを作成してファイルを保存してもう一度開くと、コンソールの出力が階段のように壊れてしまいました。私には3つの質問があります。ファイルシステムの最大サイズを超えた場合、どうなりますか？私の場合、なぜ壊れますか？ Unixシステムコールでは、stat（）は2GB（2^31-1）まで成功します。これはファ

0熱

1答えて

pyspark foreachpartitionを使用しますが、パーティション固有の変数を保持

各スパーク作業者が反復の間に変数を保持するという要件があります。変数は、すべてのRDDに含めるには大きすぎる構造体です。私はforeachpartitionを使うことができますが、パーティションごとに一度変数を渡す仕組みはありません（そして後で戻します）。同じidであってもパーティションへの呼び出しの間に連続性はありません。繰り返し放送は高価すぎる。誰かがこれを回避する方法を知っていますか？

0熱

1答えて

Google BigQueryパーティションテーブル - 毎日テーブルを自動的に作成する方法は？

質問は、Google BigQueryで日単位でパーティション化されたテーブルを自動的に作成する方法です（1日→1つのテーブルなど）。私は、テーブルを作成するには、コマンドラインで次のコマンドを使用しました： bq mk --time_partitioning_type=DAY testtable1 TABLE1は、データセットに登場しますが、どのように自動的に毎日のためにテーブルを作成する

2熱

1答えて

パーティション表を変更する

これについてオンラインで情報を見つけることはできません。既にパーティション化されている表を変更する最適な方法は何ですか？私は普通の UPDATE `table` MODIFY COLUMN `column_name` TINYINT(1) DEFAULT 1 NOT NULL; を使用し、数分間をテーブルをロックするか、私はパーティションでそのコマンドパーティションを実行する必要がありま

0熱

1答えて

sparkが単一のエグゼキュータ上で複数のパーティションを持つジョブを実行しています

Mesosクラスタで実行されているSpark 2.1.1ジョブがあります。 Spark UIは32人の実行中のエグゼキュータを表示し、RDD.getNumPartitionsは28個のパーティションを表示しています。しかし、1人（ランダム）のエグゼキュータだけが仕事をしており、他のすべては完了しているとマークされています。 executorコード（stdout）にdebugステートメントを追加し