扫码关注官方订阅号
光阴似箭催人老，日月如移越少年。
scheduler 停止调度是所有 project 都停止调度还是你尝试重启的那个停止调度？
追踪 scheduler 日志关于 project %s updated, status:%s, paused:%s, %d tasks 的内容，看看 schduler 是否得知 project 状态已改变。
project %s updated, status:%s, paused:%s, %d tasks
unknown project 如果 project 确实存在，是不应该出现的not processing pack 是正常的，scheduler 重启后，先前分发的任务就没法追踪了启动时 scheduler 需要从数据库中恢复所有活动任务的状态，如果任务很多确实会比较耗时
unknown project
not processing pack
这个问题已经找到，pyspider的源码中database下的mongodb下的statusdb的status_count查询在数据量特别大的情况下查询非常慢，会造成调度器启动特别长
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
0 
2
795
收藏
scheduler 停止调度是所有 project 都停止调度还是你尝试重启的那个停止调度？
追踪 scheduler 日志关于
project %s updated, status:%s, paused:%s, %d tasks的内容，看看 schduler 是否得知 project 状态已改变。unknown project如果 project 确实存在，是不应该出现的not processing pack是正常的，scheduler 重启后，先前分发的任务就没法追踪了启动时 scheduler 需要从数据库中恢复所有活动任务的状态，如果任务很多确实会比较耗时
这个问题已经找到，pyspider的源码中database下的mongodb下的statusdb的status_count查询在数据量特别大的情况下查询非常慢，会造成调度器启动特别长