単純なpythonジェネレータをTornado非同期ハンドラのコルーチンとして使用しますか？

Question

私は、テキストの塊を生成するpythonジェネレータ関数を持っています。私はtornado.web.RequestHandlerサブクラスに対して、getメソッドを記述してジェネレータを反復し、チャンクをレスポンスに書き出します。

ジェネレータが処理に1秒以上かかる場合があるので、このジェネレータをコルーチンとして使用して、すべての後にIOLoopに制御を渡すと、ハンドラを非同期にするとよいでしょうチャンク。しかし、私はこれを行う方法の頭や尾を作ることはできません。

class TextHandler(web.RequestHandler): 
    @web.asynchronous 
    def get(self, n): 
     generator = self.generate_text(100000) 
     # Clearly, this will block. How to make it asynchronous? 
     for text in generator: 
      self.write(text) 

    def generate_text(n): 
     for x in xrange(n): 
      if not x % 15: 
       yield "FizzBuzz\n" 
      elif not x % 5: 
       yield "Buzz\n" 
      elif not x % 3: 
       yield "Fizz\n" 
      else: 
       yield "%s\n" % x 

どのように私は、このハンドラが非同期的に動作させることができます。

は、ここでのコードを（ブロッキング）私の例ですか？

Answer 1

ここには、あなたが説明しているものの基本的なバージョンがあります。ブロッキングを避けるために、コールバック関数を介してジェネレータをIOLoopに渡すことができます。実際のIOを行うプロセスを使用していないので、add_handler経由でIOLoopに追加するosレベルプロセス/ファイルハンドラがないので、代わりに単純なadd_callbackコールを使用し、コールバック関数内から繰り返し呼び出すことができますジェネレータが終了するまで、関数をIOLoopコールバックキューに保持します。

import tornado.httpserver 
import tornado.ioloop 
import tornado.web 

class TextHandler(tornado.web.RequestHandler): 
    @tornado.web.asynchronous 
    def get(self): 
     self.generator = self.generate_text(1000) 
     tornado.ioloop.IOLoop.instance().add_callback(self.loop) 

    def loop(self): 
     try: 
      text = self.generator.next() 
      self.write(text) 
      tornado.ioloop.IOLoop.instance().add_callback(self.loop) 
     except StopIteration: 
      self.finish() 

    def generate_text(self, n): 
     for x in xrange(n): 
      if not x % 15: 
       yield "FizzBuzz\n" 
      elif not x % 5: 
       yield "Buzz\n" 
      elif not x % 3: 
       yield "Fizz\n" 
      else: 
       yield "%s\n" % x 

application = tornado.web.Application([ 
    (r"/text/", TextHandler), 
]) 

http_server = tornado.httpserver.HTTPServer(application) 
http_server.listen(8888) 
tornado.ioloop.IOLoop.instance().start() 

Answer 2

非同期プロセスに新しいtornado's genインタフェースを使用することも可能である：

import tornado.httpserver 
import tornado.ioloop 
import tornado.web 
import tornado.gen 

class TextHandler(tornado.web.RequestHandler): 

    @tornado.web.asynchronous 
    @tornado.gen.engine 
    def get(self): 

     def cb(it, callback): 
      try: 
       value = it.next() 
      except StopIteration: 
       value = None 
      callback(value) 

     it = self.generate_text(1000) 
     while True: 
      response = yield tornado.gen.Task(cb, it) 
      if response: 
       self.write(response) 
      else: 
       break 
     self.finish() 

    def generate_text(self, n): 
     for x in xrange(n): 
      if not x % 15: 
       yield "FizzBuzz\n" 
      elif not x % 5: 
       yield "Buzz\n" 
      elif not x % 3: 
       yield "Fizz\n" 
      else: 
       yield "%s\n" % x 

application = tornado.web.Application([ 
    (r"/text/", TextHandler), 
]) 

http_server = tornado.httpserver.HTTPServer(application) 
http_server.listen(8888) 
tornado.ioloop.IOLoop.instance().start()