python - 实时视频地址解析服务,可以做哪些优化?
迷茫
迷茫 2017-04-17 13:09:43
[Python讨论组]

做了一个视频地址解析服务,传入各大网站的视频地址,返回视频源地址。需要实时抓页面爬取计算出视频真实地址。通常一个解析请求,服务器需要发送3-5次HTTP请求才可以得到最终结果并返回。正常情况下一次解析时间根据网络状况和对外请求次数在0.5s-3s不等(当然也有超时的)。

现在的情况是:使用uwsgi + gevent 50协程 x 4核,理论并发量是200,不过当瞬间量大的时候,经常一个解析过程需要10s甚至1min,请求队列经常占满,导致服务不可用了。
因为会有大量的对外请求,在日志中发现DNS会经常有错误,所以自己做了简单的DNS缓存;还分析了各大网站视频的时效时间,做了缓存在Redis上。

对于这种在实时服务中,需要大量对外请求的服务,有没有什么可以优化的地方?架构调整,服务器参数(优化TCP参数)等?

迷茫
迷茫

业精于勤,荒于嬉;行成于思,毁于随。

全部回复(0)
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号