本文详解为何直接用 requests + beautifulsoup 抓取 alpsonline.org 预订日历会返回空文本，并提供基于真实 api 接口的可靠替代方案，包含会话管理、请求头配置与参数构造等关键实践。
本文详解为何直接用 requests + beautifulsoup 抓取 alpsonline.org 预订日历会返回空文本，并提供基于真实 api 接口的可靠替代方案，包含会话管理、请求头配置与参数构造等关键实践。
当你尝试用 requests 获取 https://www.alpsonline.org/reservation/calendar?hut_id=92 页面并用 BeautifulSoup 解析时，发现所有 .text 为空、input.value 为 None，根本原因在于：该页面采用前端 JavaScript 动态渲染——初始 HTML 中不包含实际日期与房型数据，所有日历内容均通过 AJAX 异步请求后端 API 注入 DOM。因此，response.text 仅含骨架 HTML（如 <div id="bookingDate0"></div>），真实数据需调用独立接口获取。
幸运的是，通过浏览器开发者工具（Network → XHR）可定位真实数据源：
✅ API 地址：https://www.alpsonline.org/reservation/selectDate
✅ 请求方式：GET
✅ 必需参数：date（格式为 DD.MM.YYYY，如 "23.09.2023"）
✅ 关键 Headers：
- 'accept': 'application/json, text/javascript, */*; q=0.01'
- 'referer': 必须设置为原始日历页 URL，否则服务器可能拒绝响应
此外，该接口依赖会话级 Cookie（如 CSRF token 或会话标识），因此必须复用同一 requests.Session() 实例：先访问日历页以触发 Cookie 设置，再发起 API 请求。
以下是完整、健壮的实现代码：
import requests
hut_id = 92
target_date = "23.09.2023" # 注意：格式为 DD.MM.YYYY，非英文缩写
# 构造必要请求头
headers = {
'accept': 'application/json, text/javascript, */*; q=0.01',
'referer': f'https://www.alpsonline.org/reservation/calendar?hut_id={hut_id}',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
with requests.Session() as session:
# 第一步：访问 referer 页面，获取初始 Cookie
calendar_url = f'https://www.alpsonline.org/reservation/calendar?hut_id={hut_id}'
session.get(calendar_url, headers=headers, timeout=10)
# 第二步：调用真实数据接口
api_url = 'https://www.alpsonline.org/reservation/selectDate'
params = {'date': target_date}
try:
response = session.get(api_url, params=params, headers=headers, timeout=10)
response.raise_for_status() # 检查 HTTP 错误
data = response.json()
print("✅ 成功获取数据：")
print(f"日期: {data.get('date', 'N/A')}")
print(f"可用房间数: {len(data.get('rooms', []))}")
# 示例：打印每个房间名称与床位数
for room in data.get('rooms', []):
print(f" - {room.get('name', '未知')} | 床位: {room.get('beds', '?')} | 状态: {room.get('status', 'unknown')}")
except requests.exceptions.RequestException as e:
print(f"❌ 请求失败: {e}")
except ValueError as e:
print(f"❌ JSON 解析失败: {e}")⚠️ 重要注意事项：
- 日期格式不可错：API 严格要求 DD.MM.YYYY（如 "05.10.2023"），而非 "Oct 05 2023" 或 "2023-10-05"；
- Referer 不可省略：缺失或错误的 referer 头可能导致 403 或空响应；
- Session 必须复用：若分开使用两个 requests.get()，Cookie 将丢失，API 返回 {"error":"Invalid request"}；
- 增加异常处理：网络超时、HTTP 错误、JSON 解析失败均需捕获，避免脚本静默崩溃；
- 遵守 robots.txt 与网站条款：该站点未明确禁止爬虫，但建议添加合理延时（如 time.sleep(1)）、限制请求频率，并优先考虑官方 API（如有）。
总结而言，面对动态加载内容，与其逆向工程前端 JS 渲染逻辑，不如直击数据源头——通过 Network 面板定位 AJAX 接口，模拟合法请求头与会话状态，即可高效、稳定地获取结构化数据。这是现代网页抓取的核心范式。
