讲师中心 微信公众号
AI工具推荐 视频效率加速

Scrapy CSS选择器无效?精简选择器路径解决无结果问题

千强同学_9722

千强同学_9722

发布时间:2026-10-12 21:12:10

|

412人浏览过

|

来源于php中文网

原创

Scrapy CSS选择器无效?精简选择器路径解决无结果问题

当Scrapy使用冗长、过度限定的CSS选择器时,常因HTML结构微小变动或类名拼接错误导致匹配失败;改用简洁、语义化的选择器(如 span.elementor-heading-title::text)可大幅提升稳定性和可维护性。

当scrapy使用冗长、过度限定的css选择器时,常因html结构微小变动或类名拼接错误导致匹配失败;改用简洁、语义化的选择器(如 span.elementor-heading-title::text)可大幅提升稳定性和可维护性。

在Scrapy中,CSS选择器失效(返回空列表 [])是最常见的爬虫调试痛点之一。本例中,用户试图从 <https:></https:> 提取培训标题(如“Accompagnement”“Validation des Acquis…”),却因构造了高度耦合、易断裂的选择器而始终得不到结果:

# ❌ 问题代码:过度嵌套 + 类名拼接错误 + XPath干扰痕迹
response.css("div[class='elementor elementor-44463 dce-elementor-rendering-id-1'] div[class='elementor-element elementor-element-49bd7747elementor-widget__width-auto elementor-widget elementor-widget-heading'] span[class='elementor-heading-title elementor-size-default']::text").extract()

该选择器存在多个关键问题:

  • 包含不存在的类名(如 elementor-44463 和 dce-elementor-rendering-id-1 在示例HTML中未出现);
  • elementor-element-49bd7747 后遗漏空格,导致 elementor-widget__width-auto 被错误拼接为 elementor-element-49bd7747elementor-widget__width-auto;
  • 过度依赖父级结构(多层 div 嵌套),一旦页面重构(如Elementor版本升级、容器结构调整),整个选择器立即失效。

✅ 正确做法是聚焦目标元素本身的核心特征:所有待提取文本均位于 <span class="elementor-heading-title elementor-size-default"></span> 中。CSS类选择器支持多类组合,且 .class1.class2 表示“同时具备两个类”,因此最简、最鲁棒的写法是:

# ✅ 推荐写法:简洁、语义清晰、抗变化
libelles = response.css("span.elementor-heading-title::text").getall()

? ::text 提取纯文本内容;.getall() 返回字符串列表(推荐替代已弃用的 .extract());若只需首条,可用 .get()(返回单个字符串或 None)。

CSS婚礼策划服务机构宣传网站模板
CSS婚礼策划服务机构宣传网站模板

CSS婚礼策划服务机构宣传网站模板是一款适合提供婚礼策划和婚庆服务机构宣传网站模板下载。提示:本模板调用到谷歌字体库,可能会出现页面打开比较缓慢。

下载

立即学习“前端免费学习笔记(深入)”;

完整可运行的Spider示例如下:

import scrapy

class MonAvenirProSpider(scrapy.Spider):
    name = "monavenirpro"
    start_urls = ["https://monavenirpro-hdf.fr/formations/"]

    def parse(self, response):
        # 精简选择器:直接定位带核心类名的span
        titles = response.css("span.elementor-heading-title::text").getall()

        # 可选:过滤空值,确保数据洁净
        titles = [t.strip() for t in titles if t.strip()]

        yield {
            "training_titles": titles,
            "count": len(titles)
        }

? 重要注意事项:

  • 避免复制粘贴HTML中的完整class属性值:Scrapy的CSS选择器不解析空格分隔逻辑,需手动拆分为多个 .class1.class2;
  • 优先使用类名而非data-id或XPath式定位:data-id 通常是动态生成的(如 49bd7747),不具备稳定性;
  • 验证选择器有效性:在Scrapy Shell中快速测试——启动 scrapy shell "https://monavenirpro-hdf.fr/formations/",再执行 response.css("span.elementor-heading-title::text").getall() 即可即时调试;
  • 考虑结构语义:若仅需特定区域(如某节标题),可先用更宽泛容器限定范围(如 section.training-section span.elementor-heading-title::text),但前提是该容器有稳定标识。

总结:Scrapy中的CSS选择器不是越长越准,而是越贴近目标语义、越少依赖临时属性,才越可靠。删繁就简,回归HTML本质结构,是解决“no result”问题的第一原则。

热门AI工具

更多
二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
css
css

css是层叠样式表,用来表现HTML或XML等文件样式的计算机语言,不仅可以静态地修饰网页,还可以配合各种脚本语言动态地对网页各元素进行格式化。php中文网还为大家带来html的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

4536

2023.06.15

css居中
css居中

css居中:1、通过“margin: 0 auto; text-align: center”实现水平居中;2、通过“display:flex”实现水平居中;3、通过“display:table-cell”和“margin-left”实现居中。本专题为大家提供css居中的相关的文章、下载、课程内容,供大家免费下载体验。

997

2023.07.27

css如何插入图片
css如何插入图片

cssCSS是层叠样式表(Cascading Style Sheets)的缩写。它是一种用于描述网页或应用程序外观和样式的标记语言。CSS可以控制网页的字体、颜色、布局、大小、背景、边框等方面,使得网页的外观更加美观和易于阅读。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1858

2023.07.28

css超出显示...
css超出显示...

在CSS中,当文本内容超出容器的宽度或高度时,可以使用省略号来表示被隐藏的文本内容。本专题为大家提供css超出显示...的相关文章,相关教程,供大家免费体验。

3526

2023.08.01

css字体颜色
css字体颜色

CSS中,字体颜色可以通过属性color来设置,用于控制文本的前景色,字体颜色在网页设计中起到很重要的作用,具有以下表现作用:1、提升可读性;2、强调重点信息;3、营造氛围和美感;4、用于呈现品牌标识或与品牌形象相符的风格。

7105

2023.08.10

什么是css
什么是css

CSS是层叠样式表(Cascading Style Sheets)的缩写,是一种用于描述网页(或其他基于 XML 的文档)样式与布局的标记语言,CSS的作用和意义如下:1、分离样式和内容;2、页面加载速度优化;3、实现响应式设计;4、确保整个网站的风格和样式保持统一。

6031

2023.08.10

css三角形怎么写
css三角形怎么写

CSS可以通过多种方式实现三角形形状,本专题为大家提供css三角形怎么写的相关教程,大家可以免费体验。

2037

2023.08.21

css设置文字颜色
css设置文字颜色

CSS(层叠样式表)可以用于设置文字颜色,这样做有以下好处和优势:1、增加网页的可视化效果;2、突出显示某些重要的信息或关键字;3、增强品牌识别度;4、提高网页的可访问性;5、引起不同的情感共鸣。

2871

2023.08.22

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

40

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Sass 教程
Sass 教程

共14课时 | 1.5万人学习

Bootstrap 5教程
Bootstrap 5教程

共46课时 | 5.9万人学习

CSS教程
CSS教程

共754课时 | 96.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn