python - pyspider分布式下可以控制某一工程的工作节点数量么？

Question

请问，pyspider 在分布式下，可以控制某一个工程的工作节点数量么？比如我有三个工作节点，但是某一个工程我只想让它在一个工作节点上运行，这个该怎么做？

Answer 1

你需要自己实现这一功能

控制工作节点会增大部署和 debug 的负担，所以节点越平等越扁平更好。

如果你确实需要这个功能，在节点前增加一个 dispatcher 分发器的模块，根据你需要的条件分发到特定节点即可。