dask

0熱

1答えて

DASK：私は、構文解析が失敗した遅延タスク、例えばのセットから空のデータフレーム/ Noneを返したいと思い遅延タスク

からNoneまたは空を返しません; import dask.dataframe as dd import dask.delayed def _read(self, filename): try: df = pd.read_csv(filename, sep=';', decimal=',', encoding='latin1', index_col=False)

0熱

1答えて

Python + Distributed - Daskを使用して、一連のワーカーを使用して、フォルダから同時にファイルを分離する機能を適用することは可能ですか？

.pyファイルのフォルダを読み込むのにかかる時間を計算するプログラムを作成します。各ファイルの周期的複雑度を計算する。私は、複雑さを計算するためにラドンをインストールしましたが、ラボを使用して計算されたフォルダ内に別々のファイルが与えられているn人の作業者を作成する分散システムを実装できます。私は分散システムのためにdaskを使用しています。私が上記で求めていることを達成することが可能かどうか疑

2熱

1答えて

Dask：厳密に増加するインデックスを作成する

よく記載されているように、Daskはreset_indexが呼び出されたときにパーティションごとに厳密に増加するインデックスを作成し、セット全体でインデックスが重複します。 Daskで厳密に増加するインデックスを作成する最も良い方法（例えば、計算上最も速い）は、セット全体にわたって連続している必要はありません。私はmap_partitionsがパーティション番号を渡すことを望んでいたが、私はそうは

0熱

1答えて

Dask DataFrame.map_partition（）を使用してdbテーブルに書き込む

変換後にデータを含むdaskデータフレームがあります。これらのデータをmysqlテーブルに書き戻したいと思います。私は、データフレームをdb URLとし、データフレームをデータベースに書き戻す関数を実装しました。データフレームのデータを最後に編集する必要があるので、私はパンダdf.to_dict('record')を使って書き込みを処理します。機能は、その私のDASKコードで def store

0熱

1答えて

dask ec2がインスタンスをセットアップするのにどれくらいの時間がかかりますか？

私はdask.distributedを初めて使用しています。私は、分散ジョブ用にいくつかのクラスタをセットアップしようとしています。私はdask-ec2をセットアップしようとしています。私は、必要なArgsでコマンドを実行すると、ワーカー・タスクのインストールに固執します。私は30分後にそれを殺しました。私はクラスタ化するためにsshのためにポート番号22を使用しています。私は2つのインスタンスを

1熱

1答えて

dask.delayedタスクの入力を見つける方法は？

dask.delayedというタスクがある場合、そのタスクのすべての入力（親）のリストを取得したいと考えています。例えば、 from dask import delayed @delayed def inc(x): return x + 1 def inc_list(x): return [inc(n) for n in x] task = delayed(su

4熱

1答えて

ダンスパフォーマンス：ワークフロー疑問

daskからベストを得る方法が混乱しています。問題、私はいくつかの時系列が含まれているデータフレームを持っている（一人一人がkey独自のを持っている）、私はそれらのすべてのそれぞれに機能my_funを実行する必要があります。パンダでそれを解決する1つの方法は df = list(df.groupby("key"))で、my_fun にマルチプロセッシングを適用します。パフォーマンスは、RAMの

0熱

1答えて

cython化されたクラスでdaskを使用します。オブジェクトメソッド

の酸洗とのエラー、私は以下のクラスでのpythonモジュールをcythonizeしたいと思います： class C: def __init__(self, x): self.x = x @staticmethod def f(k): return k def g(self, k): return self.x, k

2熱

1答えて

dask groupby適用してからデータフレームにマージする

groupbyの結果である新しい列を作成し、データフレームの順序を維持しながら（または少なくともそれを元に戻すことができるように）別の列を適用したいと思います。例：私はグループ import dask import numpy as np import pandas as pd from dask import dataframe def normalize(x): retu