2012-02-09 9 views
1

Pythonを使用してデータストアをCSVファイル(250,000行)で一括更新する必要があります。この領域を調べることで、MapReduceがこの問題に適していることがわかります。MapReduceでデータストアを一括更新する

類似のアクションを示すいくつかの例が見つかりましたが、このライブラリを使用してデータストアの簡単な一括更新を行う方法の例は見つからないようです。

あなたはこの分野の例を知っていますか、私に正しい方向を教えてください。

ありがとうございますまた、データストアにcsvファイルからデータをアップロードするbulk uploaderを使用することができます

http://code.google.com/p/appengine-mapreduce/wiki/GettingStartedInPython

答えて

0

+0

ありがとうございました。一括アップローダを使用してCSVファイルをデータストアにアップロードしますが、一括アップローダがUpdateステートメントを特に処理できるかどうかはわかりません。 – JimmySnatch

+0

それは、キー列を持つように見てアイテムを更新することができます –

+0

Shay、返信ありがとう、私が見ることができる限り、bulkuploaderは一括アップロード/ダウンロードを行うことができます。万が一更新ができるかどうかの例はありますか?ありがとう – JimmySnatch

1

mapreduceはイテレータとしてmapreduce.operation.db.Put(entity)を生成できます。アプリエンジンは非常に効率的に更新を処理できます。または、単にmap.duceメソッドにdb.put(エンティティ)を置くこともできます。私のように聞こえる、ファイルからデータを読み込み、すべての関連するエンティティを更新していると、mapreduceはおそらくそのための最良のツールではありません。

+0

こんにちは元、はい、あなたは正しいです、私はファイルからデータを読み込んでおり、データストア内のすべての関連するエンティティを更新しています。 Mapreduceが使用する方法でない場合は、どのような方法をお勧めしますか?ありがとう – JimmySnatch