python:在cmd模块中使用多线程下载网页的时候卡住了
天蓬老师
天蓬老师 2017-04-17 13:30:39
[Python讨论组]

在使用cmd模块的时候
我在mycmd.py文件中写有以下代码

def test(self):
    from lib.core.request import GetHtml
    print GetHtml("http://www.baidu.com")

使用以下2中方法进行调用:
方法1:
self.test()
方法2:

pool = ThreadPool(1)
pool.add_job(self.test)
pool.wait(1)
注:1代表线程数量

结果:
方法1可以正常执行,方法2没办法正常执行(或者说卡住了,只能强制退出)。
跟踪后,发现在GetHtml函数中卡住了:
req = urllib2.Request(url = url, data = postData)

ThreadPool是线程池类,之前均可正常使用,没出现过任何问题(换句话说:如果以上代码没有用到cmd模块的话,方法1和方法2都可以正常执行),但使用cmd模块的时候,就碰到了以上的问题


不知什么原因,请高手帮忙指点下。

天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

全部回复(1)
黄舟

经过多次实践,终于解决了问题,但为什么会这样,不是很明白,还希望大家帮忙下。
估计我上面的问题描述一定也很难让大家找到问题所在。
这里我在详尽的描述下。
mycmd.py文件中,有如下代码:

class MyCmd(cmd.Cmd):
    def test(self):
        from lib.core.request import GetHtml
        print GetHtml("http://www.baidu.com")
    def do_start(self,arg):
        from lib.core.ThreadPool import ThreadPool
        #线程池
        pool = ThreadPool(10)
        for i in range(50):
            pool.add_job(self.test)
        pool.wait(10)
mycmd = MyCmd()
mycmd.cmdloop()

请注意:我在mycmd.py文件中的最后执行了

mycmd = MyCmd()
mycmd.cmdloop()

另外,在项目的入口文件index.py中将mycmd.py文件进行import

if __name__ == "__main__":
    from mycmd import *

之前就是这样子执行的,然后就发现没法执行,一直卡在了GetHtml函数中的
req = urllib2.Request(url = url, data = postData)


解决办法:将mycmd.py文件中的

mycmd = MyCmd()
mycmd.cmdloop()

转移到index.py文件中:

if __name__ == "__main__":
    from mycmd import *
    mycmd = MyCmd()
    mycmd.cmdloop()

这样就解决了问题。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号