data-processing

0熱

1答えて

私は過去のイベントの時間 01-12-2015 01:10:10 01-12-2015 01:10:20 01-12-2015 01:10:30 01-12-2015 01:10:40 .... (millions of records) とのデータセットを持っている私は、データにEventTimeを取得するためにTimeExtractorクラスを持つことができ、このtimeWindo

1熱

1答えて

Scrapy Web CrawlerとLuigi Data Pipelineを統合する方法は？私は現在、次のようなアーキテクチャを持つ単一のAWS EC2インスタンスにデプロイされるPythonのバックエンドを構築するよ

は（長時間ユーザー& &まず質問をする神経& &）真です： | ---- データソース ----- | 一時的な保管 | - データ処理 --- | ----- DB ---- | のWebクローラのデータ ---- * S3に保存する* = \ APIデータ ----------------- * S3に保存する* == >Lugiデータパイプライン - > MongoDBの上記のように、我

-1熱

2答えて

自動エンコーダ用のデータ前処理トリック

最近、自動エンコーダを使用して異常を検出しようとしましたが、入力機能の一部はカウントデータ（クリック数またはショー数など）です。トレーニングの前に正規化やスケーリングが必要ですか？

-1熱

2答えて

Rustでパイプ区切りファイルを読み込んで処理する方法は？

パイプで区切られたファイルを読み込み、データを処理し、結果をCSV形式で生成したい。入力ファイルのデータ A|1|Pass B|2|Fail A|3|Fail C|6|Pass A|8|Pass B|10|Fail C|25|Pass A|12|Fail C|26|Pass C|26|Fail 私は、列1、列3に機能してグループを適用し、特定のグループに応じて、カラム2の合

1熱

1答えて

pprintとしてjsonファイルを入出力として読み込みますか？

私は現在、長い行としてエンコードされている大きなjsonファイルを扱っています。これは、他の人が作業するのが分かりにくいため、pprintを使用してレンダリングしたいとします。現時点では私は完全なファイルをインポートし、pprintとして印刷しようとしているが、私の出力は次のようになります。 <_io.TextIOWrapper name='hash_mention.json' mode='r

0熱

2答えて

Iはpandas.read_csvを使用して、CSVからの読み出しデータフレームを有する

データフレームにPythonで混合タイプの値のリストを追加し、データフレームの各行は、次のようになります。基本的に [1, '10/18/2016 06:00', 1, 14, 0, 5.5] 、それから成り整数、文字列、および浮動小数点数です。今、私は、既存のデータに基づいてより多くのデータ（newrow）を生成し、元のデータフレームに追加したいと考えています。私は次のコードでの関数appe

2熱

2答えて

レイヤ正規化をCNNで使用できますか？

レイヤ正規化は、バッチ正規化よりも現代の正規化メソッドであり、Tensorflowでのコーディングは非常に簡単です。しかし、レイヤの正規化はRNNとCNNのバッチ正規化用に設計されていると思います。画像分類タスクを処理するCNNでレイヤ正規化を使用できますか？バッチ正規化またはレイヤーを選択する基準は何ですか？

2熱

2答えて

パンダと時系列データの重複時間はどのように処理する必要がありますか？

私は、次の大きなデータセットの一部として、API呼び出しから戻ってきた： {'Time': datetime.datetime(2017, 5, 21, 18, 18, 1, tzinfo=tzutc()), 'Price': '0.052600'} {'Time': datetime.datetime(2017, 5, 21, 18, 18, 1, tzinfo=tzutc()), 'Price

1熱

1答えて

データセットからのアーティファクトの削除：長い不連続性/永続的な「スパイク」

誰かが私を助けることがありますか？実験中に記録されたデータセットには、アーティファクトがいくつか導入されています。より詳細には、連続スパイクは、データの大部分をより高いまたはより低い値にシフトさせる。データは、t = 0とt = 9の間で1から1000までスムーズに増加しています。 t = 10では、データは急激に400に減少し、次にt = 11とt = 20との間で400から1400まで滑らか

0熱

1答えて

SSAS表形式のデータ更新

要件の一部として、Power BIのSSAS表形式プロジェクトを開発中です 1.毎週私はSSAS表の最後の2週間のデータを削除する必要があります 2.最後に更新2週間のデータ。このため