小红书Web端数据全面加密,需用Playwright真实渲染提取DOM内容。其HTML为空,正文、评论等由加密API返回,须模拟登录、复用Cookie与Referer,并动态生成签名;纯HTTP请求无法稳定采集。

小红书Web端数据已全面加密,直接请求HTML拿不到正文内容
小红书Web端自2023年起对笔记正文、评论、用户信息等核心字段全部做前端动态渲染 + 后端API响应加密(AES/CBC + Base64混合),requests.get("https://www.xiaohongshu.com/explore/xxx")返回的HTML里只有空容器和JS脚本,真实数据藏在/api/sns/web/v1/feed等接口响应中,且需完整签名。
常见错误现象:用BeautifulSoup解析首页HTML,发现div class="note-content"为空;用selenium等工具加载后能看见内容,但无法直接提取原始JSON,因为数据是解密后注入DOM的。
- 必须逆向分析
sign生成逻辑(含x-s、x-t、x-b3-traceid等header) - 加密密钥不固定,部分接口使用会话级动态密钥(由
/api/sns/web/v1/user/session返回) - 未登录状态下多数feed接口返回401或空数据,需模拟登录(手机号+短信验证码或cookie复用)
图片链接默认带水印,无水印需替换URL参数并重签Referer
小红书图片CDN地址形如https://sns-webpic-qc.xhscdn.com/xxx.jpg@1280w_1280h_1e_1c_1f.webp?Expires=xxx&OSSAccessKeyId-xxx&Signature=xxx,末尾@1280w_1280h_1e_1c_1f即水印标识。去掉该段可得原图,但直接访问会返回403 —— 因为服务端校验Referer头是否来自https://www.xiaohongshu.com/,且要求含有效Cookie(含a1、web_session)。
- 安全做法:复用抓取feed时的同一
session对象,保持Cookie和headers一致 - 不要手动拼接无水印URL后用新
requests.Session()发起请求 —— 缺少web_session将触发风控 - 部分高分辨率图需额外加
?imageView2/2/w/2000/q/80/format/webp等参数,但必须确保签名与Referer匹配
绕过签名的临时方案仅适用于低频调试,不可用于稳定采集
社区有公开的Python签名库(如xhs-sign),能复现x-s和sign生成过程,但依赖硬编码的app_id、app_version、device_id等字段。这些值一旦被小红书服务端识别为非官方客户端特征(例如app_version=1.0.0),请求会被限流或返回{"code": -1, "msg": "invalid sign"}。
生成和改写具有强冲突、强立场、强共鸣及高评论争议度的小红书标题与约300字正文,并可按需设计正文配图和爆款封面。用于“小红书爆款文案、争议标题、对立观点、黑红文案、评论区站队、把普通标题改得更敢说、生成小红书封面或配图”等请求,覆盖职场、AI、消费、教育、情感、美妆、生活方式等话题。默认输出三档争议标题、最推荐三个版本、正文钩子和评论区点火设计;争议必须来自可辩论的观点与选择,不得依靠造谣、人身攻击、仇恨、隐私曝光或组织骚扰。图像生成不内置任何作者密钥;所选工具需要外部 API Key 时,要求用户在本地
立即学习“Python免费学习笔记(深入)”;
- 真实设备指纹需包含
device_fingerprint(由JS生成)、platform(固定为web)、cookie中的a1字段(长度32位,含时间戳) - 高频请求(>5次/分钟)即使签名正确,也会触发滑块验证或IP封禁 —— 小红书Web端风控比App端更激进
- 建议只用签名方案做单条笔记调试,批量采集务必搭配真实浏览器环境(
playwright+stealth插件)并控制并发
真正可用的路径是Playwright + 真实渲染 + DOM提取
放弃“纯HTTP + 签名”幻想,用playwright启动带user-agent和cookies的Chromium实例,访问笔记页后等待document.querySelector('[data-testid="note-content"]')出现,再执行page.evaluate()提取已解密的文本节点和图片src属性 —— 这些已是无水印原始地址(因浏览器已完成解密和CDN重写)。
- 关键点:注入
cookies前先访问https://www.xiaohongshu.com/触发初始化,否则web_session无效 - 图片
src可能为data:image/webp;base64,...(懒加载占位),需监听load事件或滚动到底部再提取 - 不要依赖
page.screenshot()或OCR——既慢又不准,DOM里就有结构化数据
加密逻辑和风控策略每天都在变,今天有效的签名参数,下周可能就失效。最省事的不是破解,而是让浏览器替你做完所有事。


















