扫码关注官方订阅号
尝试写个爬虫,java嫌重,python目前在处于学习阶段,感觉效率慢,js相对得心应手一点,不过js是事件驱动的,没有多线程这个概念,如果有10个页面要同时请求,java直接10个thread就可以了,node怎么破,是不是发10个异步请求?
认证0级讲师
发起10个异步请求就行,比多线程快
可以使用cluster模块fork子进程的方式实现类似的需求.
cluster
@radius 说的对,爬虫的也是个IO型的任务~~多个异步请求比子进程在资源消耗上更节省,并且启动一个子进程也是需要时间的~各个子进程间的相互通讯也是个消耗~
直接十个异步请求,而且还不用像多线程那样考虑同步
有专门的模块可以使用eventproxy
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
发起10个异步请求就行,比多线程快
你说的对
可以使用
cluster模块fork子进程的方式实现类似的需求.@radius 说的对,爬虫的也是个IO型的任务~~
多个异步请求比子进程在资源消耗上更节省,并且启动一个子进程也是需要时间的~
各个子进程间的相互通讯也是个消耗~
直接十个异步请求,而且还不用像多线程那样考虑同步
有专门的模块可以使用eventproxy