讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

Seko
Seko

AI短剧一键生成成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

updream

一键生成高质量推广成片

使用 AJAX 请求爬取 SIPSA 展商网站的完整教程

陌枫酱_2535

陌枫酱_2535

发布时间:2026-03-22 22:56:01

|

218人浏览过

|

来源于php中文网

原创

使用 AJAX 请求爬取 SIPSA 展商网站的完整教程

本文详解如何正确抓取 sipsa 农业展会官网(sipsa-filaha.com)的展商数据——该站采用前端动态加载(jetengine + ajax 分页),直接请求 html 页面将返回空列表,必须模拟真实 ajax 请求并解析响应中的 json 内容。

本文详解如何正确抓取 sipsa 农业展会官网(sipsa-filaha.com)的展商数据——该站采用前端动态加载(jetengine + ajax 分页),直接请求 html 页面将返回空列表,必须模拟真实 ajax 请求并解析响应中的 json 内容。

SIPSA 官网(https://www.sipsa-filaha.com/fr/exposant/)看似是传统分页列表页,实则为基于 WordPress JetEngine 构建的动态内容系统:页面初始 HTML 中不包含任何展商 DOM 元素,所有展商卡片均由 JavaScript 通过 POST 请求 admin-ajax.php 动态注入。因此,你原始代码中对 /fr/exposant/?page=N 的 requests.get() 调用虽能成功返回 HTTP 200,但 soup.select(".exposant-list-item") 必然为空——因为真实数据尚未加载。

要成功爬取,需逆向分析浏览器开发者工具(Network → XHR)中“加载更多”或分页触发的真实 AJAX 请求,提取其 URL、method、headers 和完整 form data(即请求体),然后在 Python 中精准复现。

✅ 正确爬取流程概览

  1. 定位 AJAX 接口:目标地址为 https://www.sipsa-filaha.com/wp-admin/admin-ajax.php;
  2. 构造请求体(data):包含 action="jet_smart_filters" 及大量 JetEngine 特定参数(如 settings[lisitng_id], props[page], paged 等);
  3. 设置关键请求头:X-Requested-With: XMLHttpRequest 是识别 AJAX 请求的核心标识,Referer 需匹配当前页面 URL,User-Agent 应合理;
  4. 解析响应:服务器返回 JSON,其中 content 字段为 HTML 字符串,需再次用 BeautifulSoup 解析;
  5. 深度采集(可选):若需详细字段(如“Secteur d’activité”、“Pays”),需访问每个展商详情页并定位

    后紧邻的

    标签。

    AJAX技术—无刷新获取数据相关课件
    AJAX技术—无刷新获取数据相关课件

    AJAX技术—无刷新获取数据相关课件

    下载

? 示例代码(稳定可运行)

以下代码已适配最新页面结构,支持多页批量抓取,并内置异常处理与字段容错:

import requests
from bs4 import BeautifulSoup
import time
import pandas as pd

# 1. AJAX 接口地址
ajax_url = "https://www.sipsa-filaha.com/wp-admin/admin-ajax.php"

# 2. 固定请求头(关键!)
headers = {
    "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/116.0",
    "X-Requested-With": "XMLHttpRequest",
    "Referer": "https://www.sipsa-filaha.com/fr/exposant/?page=1",
}

# 3. 请求体模板(注意:settings[lisitng_id] 和 props[found_posts] 需验证,当前为 10574 / 447)
base_data = {
    "action": "jet_smart_filters",
    "provider": "jet-engine/exposantlistinggrid",
    "settings[lisitng_id]": "10574",  # 展商列表 ID,通常固定
    "settings[columns]": "3",
    "settings[is_archive_template]": "yes",
    "settings[post_status][]": "publish",
    "settings[posts_num]": "6",
    "settings[max_posts_num]": "9",
    "settings[equal_columns_height]": "yes",
    "props[found_posts]": "447",      # 总展商数(用于估算总页数)
    "props[max_num_pages]": "30",
    "props[page]": "1",
    "props[query_type]": "posts",
    "props[query_id]": "2",
    "paged": "1",  # 动态修改此值实现翻页
    "indexing_filters": "[3085,3086,3910]",
}

all_data = []

# 4. 循环翻页(建议先测试前 3 页)
for page_num in range(1, 4):  # 替换为 range(1, 31) 抓全部
    print(f"▶ 正在抓取第 {page_num} 页...")
    base_data["paged"] = str(page_num)
    base_data["props[page]"] = str(page_num)

    try:
        response = requests.post(ajax_url, data=base_data, headers=headers, timeout=15)
        response.raise_for_status()
        json_data = response.json()

        # 解析返回的 HTML 片段
        soup = BeautifulSoup(json_data["content"], "html.parser")

        for item in soup.select(".jet-listing-grid__item"):
            # 基础信息:展商名称与详情页链接
            title_elem = item.select_one(".elementor-heading-title")
            name = title_elem.get_text(strip=True) if title_elem else "N/A"
            link_elem = item.select_one("a")
            detail_url = link_elem["href"] if link_elem and link_elem.has_attr("href") else None

            # 深度抓取详情页(仅当有链接时)
            sector, country = "N/A", "N/A"
            if detail_url:
                try:
                    detail_resp = requests.get(detail_url, headers=headers, timeout=10)
                    detail_soup = BeautifulSoup(detail_resp.content, "html.parser")

                    # 使用 :soup-contains 精准定位“Secteur d'activité”后的 p 标签
                    sector_elem = detail_soup.select_one('h3:-soup-contains("Secteur d\'activité") + p')
                    sector = sector_elem.get_text(strip=True) if sector_elem else "N/A"

                    country_elem = detail_soup.select_one('h3:-soup-contains("Pays") + p')
                    country = country_elem.get_text(strip=True) if country_elem else "N/A"
                except Exception as e:
                    print(f"⚠️ 详情页抓取失败 {detail_url}: {e}")

            all_data.append({
                "Name": name,
                "Sector": sector,
                "Country": country,
                "Detail_URL": detail_url
            })

        time.sleep(1.5)  # 尊重服务器,避免被限流

    except requests.exceptions.RequestException as e:
        print(f"❌ 第 {page_num} 页请求失败: {e}")
        continue
    except KeyError as e:
        print(f"❌ 响应格式异常(可能接口变更): 缺少键 {e}")
        continue

# 5. 输出为 DataFrame 并保存
df = pd.DataFrame(all_data)
print(f"\n✅ 成功抓取 {len(all_data)} 条展商记录")
print(df.head())

# 保存为 Excel(确保路径存在)
output_path = "sipsa_exhibitors_full.xlsx"
df.to_excel(output_path, index=False)
print(f"? 数据已保存至: {output_path}")

⚠️ 关键注意事项

  • 参数时效性:settings[lisitng_id] 和 props[found_posts] 可能随网站更新而变化。若返回空或报错,请打开浏览器开发者工具 → Network → 切换到任意分页 → 查看 admin-ajax.php 请求的 Payload,复制最新参数覆盖代码。
  • 反爬策略:该站未启用强反爬,但高频请求(
  • 字段稳定性:详情页中 "Secteur d'activité" 和 "Pays" 的 HTML 结构较固定,但若未来改用 或增加 wrapper div,h3 + p 选择器会失效,此时需改用更鲁棒的定位方式(如 find_next_sibling() 或正则提取)。
  • 编码与字符集:网页为 UTF-8,requests 默认可正确解码,无需额外设置 response.encoding。
  • 法律与合规:请务必查阅 robots.txt(https://www.sipsa-filaha.com/robots.txt)及网站 Terms of Service,本教程仅用于学习与非商业研究用途。

掌握 AJAX 驱动网站的爬取逻辑,是进阶 Web Scraping 的核心能力。与其反复调试“为什么 select 不到元素”,不如养成第一时间检查 Network 面板的习惯——真实的数据入口,永远藏在 XHR 请求之中。

热门AI工具

更多
Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

相关专题

更多
html版权符号
html版权符号

html版权符号是“©”,可以在html源文件中直接输入或者从word中复制粘贴过来,php中文网还为大家带来html的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

7675

2023.06.14

html在线编辑器
html在线编辑器

html在线编辑器是用于在线编辑的工具,编辑的内容是基于HTML的文档。它经常被应用于留言板留言、论坛发贴、Blog编写日志或等需要用户输入普通HTML的地方,是Web应用的常用模块之一。php中文网为大家带来了html在线编辑器的相关教程、以及相关文章等内容,供大家免费下载使用。

4212

2023.06.21

html网页制作
html网页制作

html网页制作是指使用超文本标记语言来设计和创建网页的过程,html是一种标记语言,它使用标记来描述文档结构和语义,并定义了网页中的各种元素和内容的呈现方式。本专题为大家提供html网页制作的相关的文章、下载、课程内容,供大家免费下载体验。

3870

2023.07.31

html空格
html空格

html空格是一种用于在网页中添加间隔和对齐文本的特殊字符,被用于在网页中插入额外的空间,以改变元素之间的排列和对齐方式。本专题为大家提供html空格的相关的文章、下载、课程内容,供大家免费下载体验。

3899

2023.08.01

html是什么
html是什么

HTML是一种标准标记语言,用于创建和呈现网页的结构和内容,是互联网发展的基石,为网页开发提供了丰富的功能和灵活性。本专题为大家提供html相关的各种文章、以及下载和课程。

5319

2023.08.11

html字体大小怎么设置
html字体大小怎么设置

在网页设计中,字体大小的选择是至关重要的。合理的字体大小不仅可以提升网页的可读性,还能够影响用户对网页整体布局的感知。php中文网将介绍一些常用的方法和技巧,帮助您在HTML中设置合适的字体大小。

3821

2023.08.11

html转txt
html转txt

html转txt的方法有使用文本编辑器、使用在线转换工具和使用Python编程。本专题为大家提供html转txt相关的文章、下载、课程内容,供大家免费下载体验。

3649

2023.08.31

html文本框代码怎么写
html文本框代码怎么写

html文本框代码:1、单行文本框【<input type="text" style="height:..;width:..;" />】;2、多行文本框【textarea style=";height:;"></textare】。

3128

2023.09.01

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

140

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
jQuery官方API文档
jQuery官方API文档

共0课时 | 0人学习

Symfony教程(入门篇+基础篇)
Symfony教程(入门篇+基础篇)

共18课时 | 1.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn