python多线程读取文件的问题
迷茫
迷茫 2017-04-17 14:41:45
[Python讨论组]

本地文件内容为每行一个url

python代码如下:

#!/usr/bin/env python
# coding=utf8

import requests
import threadpool as tp

num = 200 
urllist = open('./url.txt', 'r')

def start(args):
    flag = 0 
    for url in urllist.readlines():
        url = url.strip('\n')
        try:
            res = requests.get(url)
        except:
            print "[ERROR] [%s] %s\n" % (flag, url)
            continue

        flag += 1
        print "[%s] %s : %s\n" % (flag, url, res.status_code)

args = range(0, num)

pool = tp.ThreadPool(num)
reqs = tp.makeRequests(start, args)
[pool.putRequest(req) for req in reqs]
pool.wait()
pool.dismissWorkers(num, do_join=True)
print "Done.\n"

由于文件较大(200M左右),检查执行日志发现有时候进程读取到的每行内容不全。
有时候只读取到"http://xxx.com/",后面的部分就没有了,导致请求出错。

求大神指导。

迷茫
迷茫

业精于勤,荒于嬉;行成于思,毁于随。

全部回复(1)
ringa_lee

这是一个很明显的多线程竞争问题。看了问题描述,感觉在多线程下处理起来很麻烦。
如果可以的话,建议用单线程解决最好。在我的电脑上,200M的文件,瞬间就读完了,没有延迟。
如果一定要用多线程,请追问(强烈不建议多线程解法)。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号