large-data

    0熱

    1答えて

    大きなデータのpythonを格納

    私はPythonで新しくなっています。 Recenty、私はxmlファイルで膨大な量の健康データを処理するプロジェクトを持っています。私のデータで は、約100それらのがあり、それらのそれぞれが異なるID、起源、種類やテキストを持っている： はここでの例です。私はこのデータセットを訓練できるように、すべてのデータを保存したいと思っていました。私の心の最初のアイデアは、2D arry（1つのidとo
    python arrays large-data 2016-04-22

    4熱

    4答えて

    百万、だけそんなに必要

    問題の概要： C＃（MVC）、エンティティフレームワーク5.0とOracle。 私は、2つのテーブルを結合するビューに2億の行を持っています。 ドロップダウンリストにフィルタのポピュラリティを設定する必要があります。 これらのドロップダウンリストのオプションは、その列のビューの実際の内容 を反映する必要があります。 何かを選択するたびにドロップダウンリストを更新したいのですが、 新しいオプションに
    c# .net oracle entity-framework large-data 2016-05-09

    0熱

    1答えて

    大きなデータセットでrpartパッケージを使用する

    私は、ほぼ10000行と10列の大きなデータセットを持っています。私はrpartパッケージを使用してこのデータセットで分類を行いたいと思います。しかし、各列には多くの（50以上の）クラスがあります。だからRはちょうどハングアップします。 データの範囲を制限したり、各列のクラス数を減らすための選択肢は何ですか？
    r classification rpart large-data 2016-03-22

    1熱

    1答えて

    Python Pandasを使用してチャンク内のデータにアクセスする

    私は大きなテキストファイルを半分の列で区切っています。私は列の値（たとえば2番目の列）を取得し、numpyを使って反復的に処理しようとしています。テキストファイルに含まれるデータの一例を以下に示す： 10862;2;1;1;0;0;0;3571;0; 10868;2;1;1;1;0;0;3571;0; 10875;2;1;1;1;0;0;3571;0; 10883;2;1;1;1;0;0;3
    python pandas numpy large-data 2016-05-11

    0熱

    1答えて

    MySQLから大量のデータを取得しています。 Redisキャッシュに挿入する。 PHPのメモリ制限を増やすことができません

    私は800 000の行を抽出する必要があります（実際には1、さらに1.5万行になる可能性があります）。 第2ステップは、シリアル化されたデータとしてそのデータをRedisキャッシュに挿入することです。 私の問題は次のとおりである：Xバイトの 可メモリサイズが消耗している、しかし...キーは、私はが変更もできないということです。 私は、MySQL DBからデータを部分的に取り出すことができます。しか
    php mysql redis large-data 2016-05-15

    -1熱

    1答えて

    大量のデータをExcelにエクスポートできます。複数のシート。 Delphi

    私は2 000 000以上の行をExcelにエクスポートしたいと考えています（将来的には大きくなるでしょう）。 1つのシートが1,048,576の行を処理する。私は各シートに300 000を載せたいと思います（Excelが適切に機能するように）。 OLEオブジェクトを作成して、別のシートにデータを配置しようとしました。これは少数のデータに対しては機能しましたが、時間がかかりすぎて大量のデータでエラ
    excel delphi google-spreadsheet export-to-excel large-data 2016-03-28

    16熱

    3答えて

    大きなjsonファイル（ウィンドウ）を開くためのJSONビューアはありますか？

    私は数GBの非常に大きなJSONファイルを持っています。効率的なJSONビューアを探しています。 JSONをツリー形式で表示することもできます。 私はこのような巨大なファイルが一度に読み込むことができないことを理解します。一度にJSONを部品（つまり〜10kレコードを開く）で表示するソフトウェアはありますか？
    json viewer json-view large-data 2015-11-02

    0熱

    2答えて

    大規模なMongoDBコレクションのライブデータを照会 - Nodejs

    最後に追加したレコードと最新レコードを取得したい。 私はカーソルを使用しようとしましたが、データを待つためにコレクションの終わりに達する前にコレクション全体をスキャンする必要があるため、時間がかかりました。 { "_id" : ObjectId("56fe349d0ef0edb520f0ca29"), "topic" : "IoTeam/messages/", "pa
    node.js mongodb large-data 2016-04-04

    0熱

    1答えて

    イテレータまたはチャンクなしで大量のデータをロード

    データの大容量ファイル（7GB）で学習したい：800行、5百万列。だから私はこれらのデータをロードし、私が使用できる形式（2Dリストまたは配列）にしたいと思います。 問題は、私は、この種のを使用する方法について多くのことを聞いた私は、データをロードし、それらを格納しようとすると、彼らはすべて私の記憶（12ギガバイト）を使用し、ちょうど行500 で停止し、ここにありますチャンクとイテレーターを使用す
    python pandas numpy machine-learning large-data 2016-04-08

    1熱

    1答えて

    パンダでHDF5に可変長のリストを保存

    私はパンダには新しく、私の質問が些細な場合は謝罪してください。 可変長のリストを列として含むhdf5にpandasデータフレームを保存します。私の目標は、後でチャンクでこのデータフレームに書き込んで読み込むことです。これは、データフレームをテーブル形式で保存する場合にのみ可能と思われます。 私は次のエラーを取得するテーブル形式で自分のデータフレームを保存する場合は、以下では TypeError:
    python pandas large-files large-data 2016-04-13
最新の質問