合法监控竞品价格需避开爬虫：因反爬机制严、法律风险高，应优先用官方API、合规服务商（如PriceAPI）、浏览器自动化（需规避检测）或邮件/RSS通知；数据处理关键在来源合法、SKU对齐与字段一致。
不能直接监控竞品网站价格变动——绝大多数竞品网站明确禁止爬虫，且反爬机制日益严密；强行抓取大概率触发 403、429 或 IP 封禁，还可能违反 robots.txt 和《反不正当竞争法》第十二条。
为什么 requests + BeautifulSoup 通常失败
现代电商网站（如京东、淘宝、拼多多）普遍采用以下防护手段：
- 动态渲染：关键价格由
JavaScript异步加载，requests拿不到真实数据 - 请求头校验：检查
User-Agent、Referer、Sec-Ch-Ua等字段是否合理 - 行为指纹：识别 Puppeteer / Selenium 的自动化特征（如
webdriver属性） - 验证码/滑块：访问频率稍高即弹出
geetest或hCaptcha
用 BeautifulSoup 解析静态 HTML 的方式，在目标页面启用 SSR 或 CSR 后基本失效。不是代码写得不对，而是架构层面就不支持。
合法可用的替代方案有哪些
优先考虑平台官方或合规第三方数据源：
立即学习“Python免费学习笔记（深入）”；
- 查看竞品是否提供公开 API：例如部分品牌官网有
/api/product/detail?id=xxx接口（需抓包分析，注意Authorization头） - 接入已获授权的数据服务商：如
DataForSEO、PriceAPI，它们已解决反爬和合规问题，返回结构化价格+历史记录 - 使用浏览器自动化时必须规避检测：禁用
automationFlags、覆盖navigator.webdriver、随机化鼠标轨迹——但仅限自有商品页或明确允许的测试环境 - 订阅 RSS 或邮件通知：少数垂直电商（如 Newegg）支持价格变动邮件提醒，可解析
email.mime提取数字
绕过 robots.txt 或伪造用户行为批量采集，法律风险远高于技术成本。
如果已有合规数据源，如何生成对比报表
假设你通过 PriceAPI 获取了 JSON 数据，核心是清洗、对齐、可视化：
import pandas as pd
from datetime import datetime
<h1>假设 data 是 API 返回的列表，每项含 'sku', 'price', 'source', 'updated_at'</h1><p>df = pd.DataFrame(data)
df['updated_at'] = pd.to_datetime(df['updated_at'])
df['price'] = pd.to_numeric(df['price'], errors='coerce')</p><h1>按 SKU 聚合最新价格，保留来源</h1><p>latest = df.sort_values('updated_at').groupby('sku').tail(1)</p><h1>pivot 成宽表：列是不同 source，值是 price</h1><p>report = latest.pivot(index='sku', columns='source', values='price').round(2)</p><h1>计算差值（以自家为基准）</h1><p>if 'our_store' in report.columns:
report['diff_vs_our'] = report.iloc[:, 0] - report['our_store']</p>关键点：
- 务必用
pd.to_numeric(..., errors='coerce')处理脏数据，避免NaN扩散 -
pivot前确认sku唯一性，否则会报ValueError: Index contains duplicate entries - 导出时用
report.to_excel("price_report.xlsx", float_format="%.2f")控制小数位
真正难的从来不是写几行 pandas，而是确认数据来源合法、字段定义一致、SKU 能跨平台准确匹配——这些环节出错，报表再漂亮也没意义。
