python generator：ジェネレータ全体を並列に展開する

Question

次の（）関数が多少高価で、呼び出しを並列化しようとしているジェネレータがあるとします。私はどこでパラレル化をスローしますか？もう少し具体的に

、この例を考えてみます。

# fast, splitting a file for example 
raw_blocks = (b for b in block_generator(fin)) 
# slow, reading blocks, checking values ... 
parsed_blocks = (block_parser(b) for b in raw_blocks) 
# get all parsed blocks into a data structure 
data = parsedBlocksToOrderedDict(parsed_blocks) 

最も基本的なものは、並列化を行い何かに第2ラインを変更することです。いくつかのジェネレータマジックは、ジェネレータ（3番目のライン）を並列にアンパックできるようにしていますか？並行してを次に（）と呼んでいますか？

Answer 1

いいえ。自明でないジェネレータの次の状態が現在の状態によって決まるため、next()を順番に呼び出す必要があります。

def gen(num): 
    j=0 
    for i in xrange(num): 
     j += i 
     yield j 

それが価値を生み出す各ポイントでその状態を知らずに上記発電機への呼び出しを並列化する方法はありません。しかし、あなたがそれを知っていれば、それを実行する必要はありません。並列に実行されるようにblock_parser(b)への呼び出しを想定すると、あなたはmultiprocessing.Poolを使用して試みることができる

Answer 2

：

import multiprocessing as mp 

pool = mp.Pool() 

raw_blocks = (b for b in block_generator(fin)) 
parsed_blocks = pool.imap(block_parser,raw_blocks) 
data = parsedBlocksToOrderedDict(parsed_blocks) 

なお：

• あなたはlist(parsed_blocks)がメモリ内に完全に収まることを期待していた場合は、 pool.mapを使用すると、pool.imapよりもはるかに高速になります。
raw_blocks
• の項目とblock_parse からの戻り値が mp.Queueを通してmp.Pool転送タスクと結果ためpickableなければなりません。