扫码关注官方订阅号
欢迎选择我的课程，让我们一起见证您的进步~~
一台机器 可以启多个，不同机器也不会受影响，
pyspider -c config.json --phantomjs-proxy="localhost:25555" fetcher pyspider -c config.json processorpyspider -c config.json result_worker
处理成了瓶颈可以在一台子或者多台机子上开启多个processor。
这是我在一台机子上开启的
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
0 
2
509
收藏
一台机器 可以启多个，不同机器也不会受影响，
启动 fetcher / processor / result_worker 实例，并根据需要可添加启动多个或在多台主机上启动形成分布式
pyspider -c config.json --phantomjs-proxy="localhost:25555" fetcher
pyspider -c config.json processor
pyspider -c config.json result_worker
处理成了瓶颈可以在一台子或者多台机子上开启多个processor。
这是我在一台机子上开启的