优先调用Google Custom Search API或Bing Web Search API获取结构化JSON结果，合法稳定；动态渲染页用Selenium模拟用户行为并加反反爬策略；结果需标准化URL、清洗广告内容、分级结构化输出为JSONL。
直接抓取搜索引擎结果页（SERP）风险高、难度大，不建议用常规爬虫硬刚百度、Google等首页。真正可行的方案是绕过前端渲染、用官方API或模拟用户行为+反反爬策略，再做结构化清洗。
优先调用搜索引擎官方API
Google Custom Search API、Bing Web Search API 都提供结构化JSON结果，合法稳定。注册项目获取key后，用requests发请求即可。
- Google CSE 支持关键词、站点限定、时间范围，返回含标题、URL、摘要的字段，无需解析HTML
- Bing API 免费层每月1000次调用，响应快，支持排序和去重参数
- 注意配额限制，加简单重试机制（如 requests.adapters.HTTPAdapter 的 max_retries）
用Selenium+无头浏览器应对动态渲染
部分搜索页依赖JS加载（如百度下拉、翻页异步），requests拿不到真实结果。Selenium可控性强，适合中低频、需登录或交互的场景。
- 启用headless模式 + user-agent伪装 + 禁用图片加载（减少干扰和耗时）
- 等待关键元素出现（如搜索结果容器）再提取，避免“页面未加载完就取空列表”
- 每页提取后加随机延时（1–3秒），模拟人工浏览节奏，降低被拦截概率
结果清洗与结构化输出的关键动作
原始数据常混杂广告、推广链接、无效摘要。结构化不是简单存CSV，而是按字段可信度分级处理。
小红书长文-谷歌浏览器
下载
在 Linux 上通过 Chrome 挂载/VNC 自动发布小红书长笔记。Agent 撰写标题和正文后执行 xhs_publish.sh --publish --submit，触发小红书发布。
立即学习“Python免费学习笔记（深入）”；
- URL去重：统一标准化（移除utm参数、转小写、补https）后再去重
- 标题/摘要清洗：正则剔除“广告”“推广”“VIP”等标识；用jieba或langdetect粗筛语言一致性
- 输出格式建议：默认导出为JSONL（每行一个JSON对象），兼容后续导入ES、Pandas或数据库
规避风控的实用细节
不靠IP池也能显著降低封禁率，重点在行为模拟和请求节制。
- 每次启动更换User-Agent（从常见浏览器列表随机选），配合Accept-Language头
- 搜索词做URL编码，避免特殊字符触发WAF规则
- 单IP日请求控制在200次内，连续请求间隔≥1.5秒，夜间可适度放宽
基本上就这些。核心不是“怎么爬得快”，而是“怎么爬得稳且干净”。API优先，动态页用Selenium兜底，清洗比抓取更花时间——别省这步。
