bigdata

0熱

1答えて

elasticsearchで更新するデータは6kkです。そして私はPHPを使用する必要があります。ドキュメントで検索したところ、Bulk Indexingが見つかりましたが、以前のデータは保持されていません。は私が持っている：更新する [ { 'name': 'Jonatahn', 'age' : 21 } ] マイコード： $params =[

0熱

1答えて

Apache Flink writeAsCsv（）メソッドを使ってオブジェクトのタプルを書く

私はApache Flinkチュートリアルに従ってTaxiRideイベントのストリームを整理しています。結果のストリームはコンソールに出力されます。そして今、私はcsvファイルに書きたいと思います。私はそれはコンパイルエラーにつながるDataSet<Tuple1<TaxiRide>> rides1 = filteredRides.writeAsCsv("/resources").setParall

0熱

1答えて

ハイブでテーブルを変更するとバックエンドで何が起こる

パーティションを変更するようなハイブでテーブルを変更するとき。テーブルに何が起こるか。テーブルを再フォーマットするか、新しいパーティション用の新しいデータを作成しますか？

0熱

1答えて

sklearnのGridSearchCVをメモリに収まらないデータで使用するにはどうすればよいですか？

データセットがメモリに収まらないほど大きすぎるので、モデルをバッチでトレーニングする必要があります。私はGridSearchCV、RandomizedSearchCV、またはBayesSearchCV（scikit-optimizeから）でモデルをラップし、私の巨大なデータセットのさまざまな部分でこれらの複数のインスタンスを訓練することができず、それぞれが見いだした最良のハイパーパラメータを期待し

-1熱

2答えて

GolangのBigfiles

私は数百万の非常に小さなファイルを含んでいるアプリケーションを扱っています。転送するのは非常に難しいです。私は大きなファイルを作成する可能性のあるbigfilesまたは別の仮想ファイルシステムを考え、インデックスされたすべてのデータを含んでいます。ゴーランではどうしたらいいですか？お勧めのお勧めはありますか？

0熱

0答えて

Bloom Filterは交差点/共用体で偽陽性率を増加させますか？

これで何も見つかりませんでしたので、ここで私の質問が答えを見つけることを願っています。設定問題：すべてはブルームフィルタで採掘を高揚するために属します。は私が今までどの段階でどのような場合にはMに達しない場合Nのために、いくつかの最大容量Mと各フィルタN. 内の項目の金額をブルームフィルタの数千を持っています。偽陽性Pの確率 - 0.001％私は漸進5つのインクリメンタル交差点を±して、

0熱

1答えて

スパークストリーミングジョブが「java.lang.OutOfMemoryError：新しいネイティブスレッドを作成できません」

私はスパークストリーミングジョブを実行しており、ストリーミング入力は3時間ごとに約50MBです。ジョブは最初の数時間で少数のファイルを処理しました。しかし突然、次のエラーで失敗しました。エラーが発生した場合、入力は受信されませんでした。スパークジョブが新しいスレッドを作成できませんでした。私はビジネスロジックのRDDをキャッシュしていますが、新しいスレッドが新しい入力ファイルごとに作成される

0熱

2答えて

スパーク解析の前にFTPから大きなテキストファイルを読む

私はスタンドアロンモードでスパークを実行しています（私たちのシステムには今後配布される予定です）。まず、このファイルをFTPからローカルのe.g c:\spark\analysis\bigfile.txtにコピーする必要があります。そのファイルを解析用のスパークで読み込むことができます。私の質問は、どのようにメモリを使い果たすことなく効率的に大きなファイルをコピーできますか？スパークすることは

1熱

1答えて

Selectステートメントは、私が質問のこのタイプは、何度も尋ねたが、これらのソリューションは、私のために働いていない見てきましたヌル値

で一部の列を返します。私はデータがマップ専用のジョブ出力から得たので、外部のハイブテーブルを作成しました。次に、特定のファイルのパスを指定してコマンドをロードします。それは大丈夫だった。しかし、私がselect * from tableコマンドを実行すると、null値を持つ列が返されます。私が実行した各コマンドは、エラーpicにあります。ファイル内私の区切り文字は||あるので、私はあまりにもta

0熱

1答えて

実サーバ数がhdinsightの場合Azure

Azureのr HDinsightサーバに関しては、主に32コアの4ノードで構成されています。ここに設定のスクリーンショットがあります。しかし、私はRスタジオ・インターフェースでsshuserで接続し、私は彼が私にだけ4つのコアを返すコマンド detectCores (all.tests = FALSE, logical = TRUE) を使用する場合？！どうかありがとうございますか？