python gevent 要求所调用C++ 代码线程安全么?
巴扎黑
巴扎黑 2017-04-17 12:57:39
[Python讨论组]

刚接触python,对python相当不熟悉。
某个服务用django + gevent 来跑的,里面引用了一个C++的so文件,以python的类的形式出现,调用C++里面的接口。
现在的问题是,是否需要保证C++的代码是线程安全的?
开启了monkey.patch_all(),是否会对c++代码里的socket等阻塞产生影响?
c++封装的接口在运行时对python gevent来说,是黑盒?还是白盒?

求指点!!

巴扎黑
巴扎黑

全部回复(1)
高洛峰

是否需要保证C++的代码是线程安全的?

这个得看调用的方式,或者 C++ 代码的功能了。如果有以下情形,需要保证 C++ 的线程安全:

  • 使用了 gevent.threadpool 来多次调用 C++ 代码
  • 使用了 gevent._threading.start_new_thread 来多次调用 C++ 代码
  • C++ 代码本身会开启多个线程来实现功能

其他情形下(除非特殊情况未列出),gevent 将以单线程的形式来实现异步并发(注:见下),不需要在 C++ 甚至是 Python 代码中考虑多线程的竞争(但是微线程调度引起的竞争仍然存在)。

开启了monkey.patch_all(),是否会对c++代码里的socket等阻塞产生影响?

正如依云大所讲,C++ 代码里的 socket 仍然会阻塞主线程,monkey patch 的操作不会使其只阻塞一个微线程。这里可以参考 greenify。

c++封装的接口在运行时对python gevent来说,是黑盒?还是白盒?

我猜您这个问题可能是问,C++ 的代码是否对 gevent 是友好的,或者 C++ 的代码如何一致地参与 gevent 的异步并发。如果是这样的话,这个问题的答案将是:不友好,黑盒。

解决方法有这么三种:

  1. 将可能阻塞的 C++ 代码放到线程中来执行,然后用 gevent 的办法来传递结果。这里要注意在 C++ 代码里释放 GIL,否则会造成主线程的阻塞。
  2. 将 C++ 代码改为异步实现,接由 gevent 来驱动,可以参考 psycopg2 的做法。
  3. 用类似 greenify 的办法。
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号