直接选 requests；它是 Python 爬虫事实标准，自动处理编码、重定向、cookie、gzip，而 urllib 需手动处理底层细节，代码冗长易错。
urllib 和 requests 用哪个？别纠结，直接选 requests
新手一上来就卡在选库上，其实答案很明确：requests 是当前 Python 爬虫事实上的标准 HTTP 客户端，urllib 是标准库但写起来反人类。不是说 urllib 不能用，而是它把 HTTP 的底层细节（比如编码、重定向、cookie 处理）全甩给你自己扛。
常见错误现象：urllib.request.urlopen() 报 UnicodeDecodeError 或返回乱码；手动拼 data 字节流时忘了 encode('utf-8')；处理 302 重定向要自己调 getheader('Location') —— 这些在 requests 里一行 requests.get(url) 就搞定。
-
requests默认自动解码响应体（根据Content-Type中的charset），urllib返回原始bytes，必须显式调.decode() -
requests自动处理 cookie、gzip 压缩、重定向；urllib需配合HTTPCookieProcessor、GzipHandler等一堆 Handler - 兼容性上，
requests要求额外安装（pip install requests），但 Python 3.6+ 环境下几乎没人不用它
发 GET 请求时，params 和 url 拼接的区别在哪？
本质是 URL 编码是否由你负责。requests.get(url, params={'q': '爬虫入门'}) 会自动把中文、空格等字符做 urlencode 并拼到 URL 后面；而手写 url = 'https://example.com/search?q=' + '爬虫入门' 会直接报错或被服务端拒收。
使用场景：搜索接口、分页参数、过滤条件这类带键值对的查询字符串，一律走 params 参数。只有调试或构造特殊格式（比如带未编码斜杠的路径段）才手动拼 URL。
立即学习“Python免费学习笔记（深入）”；
- 错误示范：
requests.get('https://httpbin.org/get?q=中文')→ URL 不合法，服务端可能返回 400 - 正确做法：
requests.get('https://httpbin.org/get', params={'q': '中文'})→ 自动变成.../get?q=%E4%B8%AD%E6%96%87 -
params值为None、int、str都行，但嵌套字典或列表会被扁平化（如{'a': [1,2]}→a=1&a=2）
POST 提交表单，data 和 json 参数千万别混用
这是新手最常踩的坑：看到“要发 JSON”就无脑写 json=xxx，结果接口返回 400 或字段丢失；看到“提交表单”又硬套 data，但服务端实际期待的是 JSON 格式。
关键看服务端文档或抓包看 Content-Type 头：
– 表单提交（application/x-www-form-urlencoded）→ 用 data，传 dict 或 bytes
– 接口 API（application/json）→ 用 json，传 dict / list，requests 自动序列化并设好 header
- 错误现象：
requests.post(url, json={'user': 'admin'}, data={'pwd': '123'})→ 后者会覆盖前者，只发data，且没Content-Type: application/json - 表单登录示例：
requests.post(login_url, data={'username': 'a', 'password': 'b'}) - API 调用示例：
requests.post(api_url, json={'query': {'field': 'name'}})
拿到 response 后，别急着 .text，先看 response.encoding
response.text 看似方便，但它依赖 response.encoding 解码。而这个值不一定准——如果响应头没声明 charset，requests 会按 ISO-8859-1 猜，中文网页基本就乱码。
真正稳的做法是：先用 response.content（原始 bytes）确认编码，再手动 decode；或者强制指定 response.encoding = 'utf-8'（适用于绝大多数现代网站）。
- 检查方式：
print(response.headers.get('content-type'))和print(response.encoding) - 安全读取：
response.encoding = 'utf-8'; text = response.text或text = response.content.decode('utf-8') - 注意：
response.json()不受encoding影响，它直接解析 UTF-8 兼容的 JSON，但前提是响应体真是 JSON 格式，否则抛JSONDecodeError
HTTP 协议本身不保证编码信息完整，服务端漏发 charset 是常态。所以“拿到响应就 .text”这一步，永远要多想半秒。
