Go语言Colly爬虫框架Queue线程数与Collector延迟的深入探讨
本文探讨Go语言Colly爬虫框架中Queue线程数与Collector延迟设置之间的关系。通过一个案例分析，深入理解Colly框架的请求处理机制。
案例分析
假设设置线程数为2，使用以下代码创建队列：
q, _ := queue.New(2, storage)
添加三个请求，并设置Collector延迟为5秒（limit）。预期是两个请求同时执行，5秒后同时响应，第三个请求再延迟5秒执行。但实际结果是：
- 两个请求创建。
- 5秒后，第一个请求响应，并创建第三个请求。
- 5秒后，第二个请求响应。
- 5秒后，第三个请求响应。
这引发了两个疑问：Collector延迟是否影响整个Queue？Queue线程数在设置延迟后还有意义吗？此外，onrequest回调似乎只负责创建请求，而非实际发送请求。
立即学习“go语言免费学习笔记（深入）”；
机制分析与解答
Colly的Queue负责管理请求队列，Collector负责发送请求和处理响应。
-
Queue线程数与请求处理: 设置线程数为2，并不代表Colly同时处理两个请求。Queue控制的是并发请求的最大数量，实际请求处理由Collector控制。设置Collector延迟后，每个请求都会等待5秒再发送，与Queue中其他请求无关。因此，请求顺序是串行的，而非并行的。
-
Collector延迟的影响: Collector延迟影响整个Queue的处理顺序。即使Queue中有等待的请求，Collector也会按照延迟依次处理，导致串行执行。
-
onrequest回调的作用:onrequest回调仅在请求创建时调用，不代表请求已发送。实际请求发送在Collector的处理过程中。
结论
在设置Collector延迟的情况下，Queue线程数的影响较小，因为Collector延迟优先于Queue并发处理。理解Queue和Collector之间的关系以及各自的设置方式，才能高效使用Colly进行爬虫开发。 onrequest回调适合在请求发送前进行预处理操作。
