
Scrapy默认仅获取服务器返回的原始HTML,无法执行JavaScript,因此当目标网站(如e-uchina.net)通过AJAX异步加载列表数据时,Scrapy抓取的内容会与Chrome开发者工具中看到的渲染后DOM不一致;解决方法是直接请求其真实数据接口(如/api/search),绕过前端JS逻辑。
scrapy默认仅获取服务器返回的原始html,无法执行javascript,因此当目标网站(如e-uchina.net)通过ajax异步加载列表数据时,scrapy抓取的内容会与chrome开发者工具中看到的渲染后dom不一致;解决方法是直接请求其真实数据接口(如/api/search),绕过前端js逻辑。
在使用Scrapy爬取现代Web站点时,一个常见却易被忽视的问题是:所见(Chrome中Inspect Element看到的完整结构)≠ 所得(Scrapy response.body 中的实际HTML)。这并非Scrapy故障,而是源于网页架构的本质差异——许多网站(包括本例中的日本房产平台 e-uchina.net)采用「静态骨架 + 动态数据注入」模式:初始HTML仅含占位容器,真实房源列表由JavaScript(如 app.js)向后端API发起异步请求(例如 https://www.e-uchina.net/api/search?searchType=house&mode=bukken&sort=video&perPage=20)获取JSON数据后动态渲染。
因此,你原代码中尝试用XPath //a[@class='show-for-small-only link-dummy']/@href 提取链接失败,根本原因在于:这些链接根本不存在于初始HTML响应中,而是由JS运行后插入DOM的。Scrapy作为纯HTTP客户端,不执行JS,自然无法捕获它们。
✅ 正确做法是「逆向分析」:
- 在Chrome开发者工具的 Network → XHR/Fetch 标签页中刷新页面,观察实际发出的AJAX请求;
- 找到返回房源数据的接口(本例为
/api/search?...),检查其响应格式(JSON)、参数含义及分页机制; - 直接请求该API,解析JSON结构提取所需字段(如
data.bukkens.data[].bukken.price_sort),跳过HTML解析环节。
以下是优化后的可靠实现:
htmlq 是一个命令行工具,使用 CSS 选择器从 HTML 中提取内容,相当于 jq 的 HTML 版本。该工具使用 Rust 编写,允许你通过 CSS 选择器将 HTML 管道化,直接从终端提取文本、属性和结构化内容。
立即学习“前端免费学习笔记(深入)”;
import scrapy
import json
import re
class DetachedHouseSpider(scrapy.Spider):
name = 'detached_house'
# 注意:allowed_domains 应为域名字符串,不含协议和路径
allowed_domains = ['www.e-uchina.net']
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Safari/605.1.15',
'Accept': 'application/json, text/plain, */*',
'Referer': 'https://www.php.cn/link/ff9b401529ad052db50e89f363430ebc/',
}
def start_requests(self):
# 直接请求真实数据接口,避免HTML解析陷阱
url = 'https://www.e-uchina.net/api/search?searchType=house&mode=bukken&sort=video&perPage=20'
yield scrapy.Request(url, callback=self.parse, headers=self.headers)
def parse(self, response):
try:
data = json.loads(response.text)
bukkens = data.get('data', {}).get('bukkens', {}).get('data', [])
for item in bukkens:
bukken = item.get('bukken', {})
price_str = bukken.get('price_sort')
if price_str and isinstance(price_str, str):
# 示例:price_sort 值为 "3800.0" 表示 3800万日元 → 转为整数(单位:日元)
try:
price_million = float(price_str.split('.')[0])
yield {
'price_yen': int(price_million * 1000000), # 精确转换:3800.0 → 3,800,000,000
'id': bukken.get('id'),
'title': bukken.get('name'),
}
except (ValueError, TypeError):
self.logger.warning(f"Invalid price format: {price_str}")
except json.JSONDecodeError as e:
self.logger.error(f"Failed to parse JSON from {response.url}: {e}")
except Exception as e:
self.logger.exception(f"Unexpected error in parse(): {e}")⚠️ 关键注意事项:
-
allowed_domains必须写为'www.e-uchina.net'(纯域名),而非带协议的URL,否则Scrapy会拒绝请求; - 添加
'Accept': 'application/json'和'Referer'头可提高接口兼容性,部分API会校验来源; -
price_sort字段值为浮点字符串(如"3800.0"),代表「万日元」单位,需乘以1,000,000得到日元总额(非原代码中的* 10000); - 始终包裹JSON解析与关键字段访问在
try/except中,增强健壮性; - 若需全量数据,应分析API分页参数(如
page、offset),但本例未提供,需结合官网文档或进一步抓包确认。
总结:面对JS渲染页面,与其强行集成Selenium等重量级方案,不如优先定位并调用其底层API——更高效、更稳定、更符合Scrapy设计哲学。


















