本文介绍一种高效方法，通过分析目标网站的表单提交逻辑，跳过前端跳转流程，直接向后端接口发起 post 请求获取数据，避免因缺少会话状态或隐藏字段导致的 404 错误。
本文介绍一种高效方法，通过分析目标网站的表单提交逻辑，跳过前端跳转流程，直接向后端接口发起 post 请求获取数据，避免因缺少会话状态或隐藏字段导致的 404 错误。
在实际网络爬虫开发中，常遇到一类“需前置交互”的页面：它们不支持直接通过 URL 访问，必须先在首页填写表单并提交，服务端才会返回目标结果页（如政府监管系统、内网查询平台等）。传统思路是模拟完整浏览器流程——先 GET 首页、解析 form、构造数据、POST 提交、再 GET 结果页。但本例中的 sigsif_cons 系统存在关键细节：真正的数据接口并非跳转后的 URL，而是表单直连的目标地址本身。
观察原始尝试代码可发现两个核心问题：
- 错误地将 fst_url（表单页）作为 POST 目标，而实际业务逻辑中，该表单的 action 属性或 JS 提交逻辑指向的是 scd_url（即结果页 URL）；
- 未提取并提交关键隐藏字段（如 nm_sort, script_body, p_tipo_consulta），导致服务端校验失败，返回 404。
✅ 正确做法是：直接向目标结果页 URL 发起 POST 请求，并携带完整表单参数（包括空值字段和隐藏字段）。这本质上是“跳过前端路由，直连后端处理入口”。
以下为优化后的可运行示例：
import requests
from bs4 import BeautifulSoup
# 直接定位到实际处理请求的 endpoint（即表单最终提交的目标）
target_url = "https://extranet.agricultura.gov.br/sigsif_cons/!ap_estabelec_nacional_lista"
# 构造完整表单数据 —— 包含所有可见及隐藏字段
form_data = {
"nr_sif": "", # SIF 编号（留空表示不限）
"nm_razao_social": " ", # 企业名称（注意：此处需带空格，非空字符串，可能用于触发模糊匹配）
"nr_cnpj": "", # CNPJ（留空）
"nm_sort": "nr_sif", # 排序字段（服务端强制要求）
"script_body": "onload=", # 关键隐藏字段，疑似防爬或框架标识
"p_tipo_consulta": "", # 查询类型（留空）
}
# 禁用 SSL 验证（因站点证书无效，仅限测试环境使用）
response = requests.post(target_url, data=form_data, verify=False)
# 检查响应状态
if response.status_code != 200:
raise ConnectionError(f"请求失败，HTTP 状态码：{response.status_code}")
# 解析 HTML
soup = BeautifulSoup(response.content, "html.parser")
# 定位主数据表格（使用 CSS 选择器精准过滤嵌套结构）
table = soup.select_one("table.LabelCampo:not(:has(.LabelCampo))")
if not table:
raise ValueError("未能定位到结果表格，请检查页面结构是否变更")
# 提取并打印每行数据（去除冗余空白，用空格分隔）
for row in table.find_all("tr")[1:]: # 跳过表头行
text = row.get_text(strip=True, separator=" ")
if text: # 过滤空行
print(text)? 关键注意事项：
- 不要依赖页面跳转逻辑：许多老旧政府系统采用“表单 action 指向结果页”的设计，而非重定向。直接 POST 到结果页 URL 更可靠；
- 务必保留所有表单字段：即使值为空或看似无意义（如 "script_body": "onload="），也可能是服务端校验的关键标识；
- SSL 验证仅限调试：verify=False 存在安全风险，生产环境应配置可信证书或使用 requests.adapters.HTTPAdapter 自定义信任链；
- 反爬与频率控制：该站点无明显 JS 渲染，但高频请求可能触发 IP 限制，建议添加 time.sleep() 及 User-Agent 头；
- 结构稳定性预警：政府网站常不定期改版，建议将 select_one 选择器封装为容错函数，并加入异常日志。
通过此方法，你无需维护 session 状态、无需解析跳转逻辑、也无需处理 JavaScript 重定向，即可稳定获取目标数据——这是面向表单驱动型 Web 应用最简洁高效的爬取策略。
