
本文详解如何正确抓取 sipsa 农业展会官网(sipsa-filaha.com)的展商数据——该站采用前端动态加载(jetengine + ajax 分页),直接请求 html 页面将返回空列表,必须模拟真实 ajax 请求并解析响应中的 json 内容。
本文详解如何正确抓取 sipsa 农业展会官网(sipsa-filaha.com)的展商数据——该站采用前端动态加载(jetengine + ajax 分页),直接请求 html 页面将返回空列表,必须模拟真实 ajax 请求并解析响应中的 json 内容。
SIPSA 官网(https://www.sipsa-filaha.com/fr/exposant/)看似是传统分页列表页,实则为基于 WordPress JetEngine 构建的动态内容系统:页面初始 HTML 中不包含任何展商 DOM 元素,所有展商卡片均由 JavaScript 通过 POST 请求 admin-ajax.php 动态注入。因此,你原始代码中对 /fr/exposant/?page=N 的 requests.get() 调用虽能成功返回 HTTP 200,但 soup.select(".exposant-list-item") 必然为空——因为真实数据尚未加载。
要成功爬取,需逆向分析浏览器开发者工具(Network → XHR)中“加载更多”或分页触发的真实 AJAX 请求,提取其 URL、method、headers 和完整 form data(即请求体),然后在 Python 中精准复现。
✅ 正确爬取流程概览
- 定位 AJAX 接口:目标地址为 https://www.sipsa-filaha.com/wp-admin/admin-ajax.php;
- 构造请求体(data):包含 action="jet_smart_filters" 及大量 JetEngine 特定参数(如 settings[lisitng_id], props[page], paged 等);
- 设置关键请求头:X-Requested-With: XMLHttpRequest 是识别 AJAX 请求的核心标识,Referer 需匹配当前页面 URL,User-Agent 应合理;
- 解析响应:服务器返回 JSON,其中 content 字段为 HTML 字符串,需再次用 BeautifulSoup 解析;
-
深度采集(可选):若需详细字段(如“Secteur d’activité”、“Pays”),需访问每个展商详情页并定位
后紧邻的
标签。
? 示例代码(稳定可运行)
以下代码已适配最新页面结构,支持多页批量抓取,并内置异常处理与字段容错:
import requests
from bs4 import BeautifulSoup
import time
import pandas as pd
# 1. AJAX 接口地址
ajax_url = "https://www.sipsa-filaha.com/wp-admin/admin-ajax.php"
# 2. 固定请求头(关键!)
headers = {
"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/116.0",
"X-Requested-With": "XMLHttpRequest",
"Referer": "https://www.sipsa-filaha.com/fr/exposant/?page=1",
}
# 3. 请求体模板(注意:settings[lisitng_id] 和 props[found_posts] 需验证,当前为 10574 / 447)
base_data = {
"action": "jet_smart_filters",
"provider": "jet-engine/exposantlistinggrid",
"settings[lisitng_id]": "10574", # 展商列表 ID,通常固定
"settings[columns]": "3",
"settings[is_archive_template]": "yes",
"settings[post_status][]": "publish",
"settings[posts_num]": "6",
"settings[max_posts_num]": "9",
"settings[equal_columns_height]": "yes",
"props[found_posts]": "447", # 总展商数(用于估算总页数)
"props[max_num_pages]": "30",
"props[page]": "1",
"props[query_type]": "posts",
"props[query_id]": "2",
"paged": "1", # 动态修改此值实现翻页
"indexing_filters": "[3085,3086,3910]",
}
all_data = []
# 4. 循环翻页(建议先测试前 3 页)
for page_num in range(1, 4): # 替换为 range(1, 31) 抓全部
print(f"▶ 正在抓取第 {page_num} 页...")
base_data["paged"] = str(page_num)
base_data["props[page]"] = str(page_num)
try:
response = requests.post(ajax_url, data=base_data, headers=headers, timeout=15)
response.raise_for_status()
json_data = response.json()
# 解析返回的 HTML 片段
soup = BeautifulSoup(json_data["content"], "html.parser")
for item in soup.select(".jet-listing-grid__item"):
# 基础信息:展商名称与详情页链接
title_elem = item.select_one(".elementor-heading-title")
name = title_elem.get_text(strip=True) if title_elem else "N/A"
link_elem = item.select_one("a")
detail_url = link_elem["href"] if link_elem and link_elem.has_attr("href") else None
# 深度抓取详情页(仅当有链接时)
sector, country = "N/A", "N/A"
if detail_url:
try:
detail_resp = requests.get(detail_url, headers=headers, timeout=10)
detail_soup = BeautifulSoup(detail_resp.content, "html.parser")
# 使用 :soup-contains 精准定位“Secteur d'activité”后的 p 标签
sector_elem = detail_soup.select_one('h3:-soup-contains("Secteur d\'activité") + p')
sector = sector_elem.get_text(strip=True) if sector_elem else "N/A"
country_elem = detail_soup.select_one('h3:-soup-contains("Pays") + p')
country = country_elem.get_text(strip=True) if country_elem else "N/A"
except Exception as e:
print(f"⚠️ 详情页抓取失败 {detail_url}: {e}")
all_data.append({
"Name": name,
"Sector": sector,
"Country": country,
"Detail_URL": detail_url
})
time.sleep(1.5) # 尊重服务器,避免被限流
except requests.exceptions.RequestException as e:
print(f"❌ 第 {page_num} 页请求失败: {e}")
continue
except KeyError as e:
print(f"❌ 响应格式异常(可能接口变更): 缺少键 {e}")
continue
# 5. 输出为 DataFrame 并保存
df = pd.DataFrame(all_data)
print(f"\n✅ 成功抓取 {len(all_data)} 条展商记录")
print(df.head())
# 保存为 Excel(确保路径存在)
output_path = "sipsa_exhibitors_full.xlsx"
df.to_excel(output_path, index=False)
print(f"? 数据已保存至: {output_path}")⚠️ 关键注意事项
- 参数时效性:settings[lisitng_id] 和 props[found_posts] 可能随网站更新而变化。若返回空或报错,请打开浏览器开发者工具 → Network → 切换到任意分页 → 查看 admin-ajax.php 请求的 Payload,复制最新参数覆盖代码。
- 反爬策略:该站未启用强反爬,但高频请求(
- 字段稳定性:详情页中 "Secteur d'activité" 和 "Pays" 的 HTML 结构较固定,但若未来改用 或增加 wrapper div,h3 + p 选择器会失效,此时需改用更鲁棒的定位方式(如 find_next_sibling() 或正则提取)。
- 编码与字符集:网页为 UTF-8,requests 默认可正确解码,无需额外设置 response.encoding。
- 法律与合规:请务必查阅 robots.txt(https://www.sipsa-filaha.com/robots.txt)及网站 Terms of Service,本教程仅用于学习与非商业研究用途。
掌握 AJAX 驱动网站的爬取逻辑,是进阶 Web Scraping 的核心能力。与其反复调试“为什么 select 不到元素”,不如养成第一时间检查 Network 面板的习惯——真实的数据入口,永远藏在 XHR 请求之中。


















