bigdata

1熱

2答えて

私たちが取り組んでいるデスクトップアプリケーションの塊について、いくつか分析しています。 1つの要件は、実際にはそれぞれ800Mbほどの大きさで実行されるいくつかのレガシーファイル形式の入出力を行うことができることです。輸入量は5Gb程度であると合理的に予想される。理想的には、私はjarファイルに必要なファイルを貼り付け、署名し、後で再インポートするためにそれを送信するのが理想的です。しかし私

10熱

2答えて

Facebookのようなサイトで個人プロファイルのデータを保存するために使用するフォーマットは何ですか？

私は最近、XMLファイルに格納された大きなデータセットを扱い始めました。私はFacebookや他のネットワーキングサイトが個々のプロフィール（名前、プロフィール写真、壁のポストなど）に関連するすべての情報をどのように保存しているか疑問に思っていましたが、XMLがそんなに多くの情報を保存する最良の方法ではないように感じます。私はgoogleでそれについての情報を見つけることを試みたが、あまりにも多く

3熱

2答えて

潜在的に大きなネストされたハッシュ構造の膨大な数を格納するために使用するデータベースは何ですか？

任意のネストされたハッシュ構造（通常は4〜6レベル）を大量に（数億〜数十億）保存したいと考えています。ネストされたハッシュの内部でクエリを実行する必要はなく、トップレベルの属性に対してのみクエリを実行する必要があります。通常、最上位の属性と完全に一致するように、コードを記述することなく照会が可能でなければなりません。レコードを更新するときに、変更されたサブハッシュ構造の一部だけを更新し、レコード全

3熱

4答えて

データベースのサイズが大きい

次の問題があります。データベースにバイナリを格納するデータベースがあります。データベースのサイズが大きいので、データベースからすべてのバイナリを削除し、その上で "縮小"というタスクを使用しました。この方法で、データベースがはるかに小さくなることを期待しました。これらの結果である：脱サイズだった前：除去サイズ後の20ギガバイトされました：25ギガバイト（税込ログファイル）シュリン

3熱

2答えて

大量のデータをレンダリングする

私は3D浮動小数点マトリックスを持っています。最悪の場合、サイズは（200000x1000000x100）になります。Qt/OpenGLを使用してこのマトリックスを視覚化したいと思います。要素の数が非常に多いので、カメラが行列から遠く離れているときに、行列の見た目を近似した数多くの興味深い点を示します。カメラが近づくと、詳細を取得したいので、より多くの要素が計算されます。この種の視覚化を扱う技

1熱

2答えて

半構造化データのおおよその量は、Hadoopクラスタを設定するのに十分ですか？

私が知っているHadoopは、半構造化されたデータ処理の一般的な選択肢ではありません。タブで区切られた単純なデータとunixツール（cut、grep、sed、...）と手書きpythonスクリプト。しかし時々私は本当に大量のデータを取得し、処理時間は20〜30分にもなります。私はデータセットを動的に実験し、セミアドホッククエリなどを実行したいので、私には受け入れられません。このように、Hadoo