python - tornado调用一系列阻塞的方法时候如何保持异步的效果呢？

Question

用tornado开发restful服务，需要调用已有的诸多函数。怎样保持tornado的异步方式，是否需要对现有函数做修改？

Answer 1

一般情况下，只会对原有函数中操作耗时的处理进行异步装饰，例如网络请求

from tornado.gen import coroutine, Future, Return
@coroutine                           # 首先是协程装饰器
def http_request(url):
    response = yield get_url(url)    # yield 调用
    ...

需要注意的是，一旦使用异步，那调用到的函数返回值必须是Future类型或者使用croutine和Return()返回。

例如上面用到的get_url方法，要用以下的方式返回结果

def get_url(url):
    future = Future()
    ...
    return future
    
@coroutine
def get_url(url):
    ...
    raise Return(result) # 这里的result是获取到的结果

异步虽然好用，但是缺点就是一旦用了，调用的时候都要考虑异步，风格要一致…

Answer 2

如果是阻塞方法，应该丢给外部队列比如celery去处理，不要使用多线程worker。
如果是网络io导致的阻塞，可以利用tornado 的asyncHttpClient，将阻塞请求变为非阻塞