Requests提交表单时应严格区分data和json参数：data用于application/x-www-form-urlencoded格式，json自动序列化为JSON并设对应Content-Type；普通表单一律用data={...}，含文件则用files={...}，不可与json混用。
Requests提交表单时，data和json参数别混用
表单提交本质是构造HTTP请求体，但 requests.post() 的 data 和 json 参数行为完全不同：前者发送 application/x-www-form-urlencoded（标准表单格式），后者自动序列化为JSON并设 Content-Type: application/json。多数网页登录/搜索表单走前者，用 json=... 会导致后端收不到字段。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 先用浏览器开发者工具（Network → Form Data）确认提交的键值对和编码方式
- 普通表单一律用
data={...}，例如data={"username": "a", "password": "b"} - 若表单含文件上传，必须用
files={...}，且不能和json同时出现 - 中文字段注意是否需手动
urllib.parse.quote()—— 通常requests会自动处理，但某些老旧后端要求 UTF-8 编码后拼接
带Cookie和Referer的请求常被反爬拦截
很多网站校验 Referer 头防止站外提交，或依赖前置登录产生的 Cookie 维持会话。直接调用 requests.post() 默认无状态，相当于“新访客”，必然失败。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 用
requests.Session()复用连接和 Cookie，先get()登录页获取隐藏字段（如csrf_token）和初始 Cookie - 把登录页响应中的
Set-Cookie自动带入后续请求，无需手动提取 ——Session会自动管理 - 显式设置
headers={"Referer": "https://example.com/login"}，值必须与上一步GET的URL一致 - 检查响应状态码是否为
200且内容含“登录成功”字样，而非跳转到首页或错误页 —— 有些站点失败时也返回200
验证码、CSRF Token、JavaScript渲染字段必须动态提取
纯静态 data 字典无法应付每次提交都变化的字段。比如 csrf_token 通常藏在HTML的 <input name="csrf_token" value="xxx"> 中；验证码图片需OCR或人工输入；而某些按钮文本由JS动态生成，requests拿不到。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 用
BeautifulSoup或正则从登录页HTML中提取csrf_token：soup.find("input", {"name": "csrf_token"})["value"] - 遇到验证码，优先查目标站是否有API接口（如
/captcha/image?r=123），再考虑pytesseract或打码平台 - 若关键字段由JS计算生成（如密码MD5加盐），得用
execjs或PyExecJS执行对应JS逻辑，requests本身不执行脚本 - 不要硬编码Token值——哪怕测试时能用，上线必挂
超时、重试、User-Agent缺失导致请求被静默丢弃
不少服务器对无 User-Agent、无超时设置、无重试机制的请求直接拒绝或限速，现象是连接卡住、返回空内容、或 ConnectionError，而非明确报错。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 强制设置
timeout=(3, 7)（连接3秒，读取7秒），避免单个请求阻塞整个爬虫 - 用
urllib3.util.retry.Retry配合requests.adapters.HTTPAdapter添加重试逻辑，重点重试429（Too Many Requests）和网络错误 -
User-Agent必须模拟真实浏览器，例如"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"，且定期轮换 - 别忽略
response.encoding—— 某些站点返回UTF-8内容但声明为ISO-8859-1，需手动设response.encoding = "utf-8"再取.text
真正难的不是发请求，而是判断哪一步在“假装正常”。比如表单提交后返回200，但页面里写着“验证码错误”；又比如Cookie看着没过期，实际后端已校验失效。这些都得靠检查响应体具体内容，而不是只看状态码。
