python - 如何解决多线程下Pymongo连接过多的问题？

Question

最近调整原来的py爬虫时发现一个问题

在多线程下pymongo会报一个危险

/usr/lib64/python2.6/site-packages/pymongo/topology.py:75: 
UserWarning: MongoClient opened before fork. Create MongoClient with connect=False, 
or create client after forking. See PyMongo's documentation for details: 
http://api.mongodb.org/python/current/faq.html#using-pymongo-with-multiprocessing>
  "MongoClient opened before fork. Create MongoClient "

大意是多进程下要加上connect=False参数防止死锁？

然后加上这个参数程序依旧报这个危险，所以问下多进程下 pymongo的要在哪里初始化？

目前是这样

class mongo():

    def __init__(self):
        try:
            client = MongoClient(host="127.0.0.1", port=27017, connect=False)
            db = client.db
            print "mogodb successful connection~^_^"
        except Exception, e:
            print "mogodb Error", e
    def in():
        ......

拜谢

Answer 1

提示是mongo连接在fork之前就被创建了，希望你加connect=False参数或者在fork以后再建立连接。

这个错误我以前碰到过，如果pymongo版本比较老的话是不支持connect=False这个参数的，升级一下就好了，或者你把初始化数据库连接的代码放到fork以后，就是在线程里面需要的时候再初始化。