扫码关注官方订阅号
pyspider单步调试通过,爬取的结果能写入数据库。但是到Dashboard改了状态run不成功。
就直接finished。里面提示:
但是为什么单步调试又是没问题的呢?
欢迎选择我的课程,让我们一起见证您的进步~~
看到 on_start 最后那个 +1 了吗,它产生了一条任务,但是可能是因为
已经抓过了,去重
已经处于活动状态(包括重试)没有抓取
我是模拟通过输入关键词,选择时间检索论文,单步调试的时候模拟操作是通过js输入关键词,时间,是行的通的。run行不通。我改成直接用检索结果的url run,就可以继续爬取了。所以就是我使用js模拟操作存在问题,可是一边可以,一边又不行。为什么?
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
看到 on_start 最后那个 +1 了吗,它产生了一条任务,但是可能是因为
已经抓过了,去重
已经处于活动状态(包括重试)
没有抓取
我是模拟通过输入关键词,选择时间检索论文,单步调试的时候模拟操作是通过js输入关键词,时间,是行的通的。run行不通。我改成直接用检索结果的url run,就可以继续爬取了。所以就是我使用js模拟操作存在问题,可是一边可以,一边又不行。为什么?