讲师中心 微信公众号

工具推荐

视频效率加速
立刻MV
立刻MV

低成本歌曲 MV、视频生成

剧云
剧云

中文短剧剧本制作平台

Laper
Laper

剧本策划到成片协作

AniShort
AniShort

AI短剧协同制作平台

如何在Python爬虫中监控目标网站内容变动并发送邮件报警?

轻涛君_8827

轻涛君_8827

发布时间:2026-11-14 10:34:16

|

382人浏览过

|

来源于php中文网

原创

核心是定期抓取关键内容片段并比对哈希值:用requests加headers获取页面,BeautifulSoup定位唯一DOM节点提取文本,标准化后生成MD5摘要存本地,下次运行时比对新旧hash,不一致即判定变动并邮件报警。

如何在python爬虫中监控目标网站内容变动并发送邮件报警?

用 requests + BeautifulSoup 抓取并比对页面内容是否变化

核心不是“实时监控”,而是“定期抓取 + 差异识别”。先确保能稳定获取目标页面的**关键内容片段**,比如某个 <div id="content"> 里的文本,而不是整页 HTML(容易因广告、时间戳、埋点 JS 导致误报)。<p>实操建议:</p> <p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记(深入)</a>”;</p> <ul> <li>用 <code>requests.get(url, timeout=10) 获取页面,加 headers 模拟浏览器(否则可能被 403)

  • 用 BeautifulSoup(html, "lxml") 解析,定位到唯一性高的 DOM 节点,调用 .get_text() 提纯文本
  • 对提取出的文本做标准化处理:去掉换行、多余空格、统一编码,再用 hashlib.md5(text.encode()).hexdigest() 生成摘要存本地(比如写进 last_hash.txt)
  • 下次运行时读取旧 hash,和新 hash 对比,不一致即判定为内容变动
  • 用 smtplib 发送纯文本邮件报警,绕过 Gmail 的 OAuth2 限制

    很多教程卡在 Gmail SMTP 登录失败——因为 Gmail 默认禁用“低安全性应用访问”,且已逐步停用密码直连。最省事的解法是:不用 Gmail 账号,改用国内支持 SMTP 密码登录的邮箱(如网易 163 邮箱),或启用 Gmail 的“应用专用密码”(需开启两步验证)。

    实操建议:

    立即学习“Python免费学习笔记(深入)”;

    • 163 邮箱配置示例:smtp.163.com 端口 465,发件人填 yourname@163.com,密码填网页版邮箱设置里生成的“授权码”(非登录密码)
    • 代码中用 smtplib.SMTP_SSL(host, port) 连接,server.login(from_addr, password) 认证
    • 邮件正文别用 HTML,用纯文本 + \n 换行,避免被当垃圾邮件;主题加前缀如 [ALERT] example.com content changed
    • 发送前务必测试一次,确认收件箱能收到且不进垃圾箱

    用 schedule 或系统 cron 实现定时运行,避免用 time.sleep() 长驻进程

    爬虫脚本不该常驻内存跑 while True: check(); time.sleep(300) —— 一旦异常退出就中断监控,还可能因网络卡顿导致重复执行或漏检。

    Biopython
    Biopython

    全面的分子生物学工具集。适用于序列操作、文件解析(FASTA/GenBank/PDB)、系统发育分析,以及通过 Bio.Entrez 以编程方式访问 NCBI/

    下载

    实操建议:

    立即学习“Python免费学习笔记(深入)”;

    • 推荐用系统级调度:Linux 下写一行 */5 * * * * cd /path/to && python3 monitor.py >> /var/log/monitor.log 2>&1 到 crontab -e,每 5 分钟拉起一次独立进程
    • 若坚持用 Python 调度库,选 schedule(轻量)而非 APScheduler(重),并在主循环末尾加 schedule.run_pending(); time.sleep(1),防止 CPU 占满
    • 每次脚本启动时先检查上一次运行是否超时(比如读 last_run.pid 文件 + ps 查进程),避免多个实例并发冲突

    内容变动误报的三个高频原因和应对方式

    刚上线时最容易连续收到“内容已变”邮件,其实只是页面无关元素在抖动。

    常见误报来源:

    • 页面含实时更新的时间戳(如“最后更新:2024-06-12 14:23:01”)→ 用正则提前 re.sub(r"最后更新:\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}", "", text) 清洗
    • CDN 缓存不一致,A 地区看到新版,B 地区看到旧版 → 在请求头加 "Cache-Control": "no-cache",并固定使用一个出口 IP(如走代理池中的某台)
    • JS 渲染内容(如 React 动态加载的正文)→ requests 拿不到,得换 playwright 或 selenium 启浏览器,但性能代价大,先确认目标站是否真依赖 JS

    真正要监控的,永远是业务意义上“值得报警”的变化,比如政策页新增了 <strong>重要提示</strong>,而不是页脚版权年份从 2023 变 2024。

    热门AI工具

    更多
    Flowith
    Flowith Hot

    Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

    豆包大模型

    豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

    Seko
    Seko Hot

    一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

    WorkBuddy

    一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

    切问学术

    切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

    DeepSeek

    DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

    讯飞智文

    一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

    超级麦吉

    一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

    咔片AIPPT

    一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

    相关专题

    更多
    python打包成可执行文件
    python打包成可执行文件

    本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

    1911

    2023.07.20

    python能做什么
    python能做什么

    python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

    5404

    2023.07.25

    format在python中的用法
    format在python中的用法

    Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

    1869

    2023.07.31

    python教程
    python教程

    Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

    32797

    2023.08.03

    python环境变量的配置
    python环境变量的配置

    Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

    3867

    2023.08.04

    python eval
    python eval

    eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

    3867

    2023.08.04

    scratch和python区别
    scratch和python区别

    scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

    1263

    2023.08.11

    python合并两个列表
    python合并两个列表

    Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

    616

    2023.08.10

    Go-Zero API开发使用教程
    Go-Zero API开发使用教程

    本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

    20

    2026.11.12

    热门下载

    更多
    网站特效
    /
    网站源码
    /
    网站素材
    /
    前端模板

    精品课程

    更多
    相关推荐
    /
    热门推荐
    /
    最新课程
    关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
    php中文网:公益在线php培训,帮助PHP学习者快速成长!
    关注服务号
    PHP中文网订阅号
    每天精选资源文章推送

    Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn