本文详解如何利用浏览器开发者工具逆向分析无文档API，定位rlsbb.cc等网站中/Home/GetPost接口所需的全部查询参数（如category、date范围等），并提供Python端按条件过滤JSON数据的健壮实现方案。
本文详解如何利用浏览器开发者工具逆向分析无文档api，定位`rlsbb.cc`等网站中`/home/getpost`接口所需的全部查询参数（如category、date范围等），并提供python端按条件过滤json数据的健壮实现方案。
在实际Web数据采集场景中，许多网站（如 rlsbb.cc）虽未提供公开API文档，但其前端交互往往依赖AJAX请求动态加载结构化数据（通常是JSON）。这类接口通常隐藏在XHR（XMLHttpRequest）网络请求中，需通过开发者工具精准捕获其完整请求链与参数构成。
一、使用DevTools定位真实请求与参数
- 打开Firefox（或Chrome）开发者工具 → 切换至 Network 标签页；
- 清空当前记录（点击左上角垃圾桶图标）；
- 在目标网站执行一次搜索操作（例如输入关键词并点击搜索）；
- 在Network面板中筛选 XHR 类型请求，找到目标URL（如 https://rlsbb.cc/Home/GetPost）；
- 点击该请求 → 查看 Headers 选项卡下的 Query String Parameters 和 Request Headers。
你将发现关键参数包括：
- phrase: 搜索关键词（URL编码后传递，如 phrase=game+of+thrones）；
- pindex: 分页索引（从1开始，如 pindex=1）；
- category: 分类标识（实测有效值为 tv-shows, movies, music, apps 等，需通过抓包确认）；
- fromdate / todate: 时间范围参数（部分版本支持，若未出现在原始请求中，说明前端可能在JS中拼接或服务端未强制校验，需进一步验证）。
⚠️ 注意：Referer 和 X-Requested-With 请求头是常见反爬保护点，必须严格复现：
headers = {
'Referer': 'https://rlsbb.cc/', # 必须与实际来源页一致
'X-Requested-With': 'XMLHttpRequest',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}二、构造完整请求并解析JSON响应
假设你已通过抓包确认 category=tv-shows 有效，且接口支持时间过滤（或需客户端后处理），可按如下方式构建请求：
import requests
from datetime import datetime
import json
base_url = "https://rlsbb.cc/Home/GetPost"
params = {
"phrase": "breaking bad", # 可为空字符串 ""
"pindex": 1,
"category": "tv-shows" # 关键分类参数
}
headers = {
'Referer': 'https://rlsbb.cc/',
'X-Requested-With': 'XMLHttpRequest',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
response = requests.get(base_url, params=params, headers=headers)
response.raise_for_status()
data = response.json()
# 客户端日期过滤（兼容服务端不支持date参数的情况）
def filter_by_date(results, start_str="2024-03-01", end_str="2024-03-02"):
start_dt = datetime.strptime(start_str, "%Y-%m-%d")
end_dt = datetime.strptime(end_str, "%Y-%m-%d")
filtered = []
for item in results:
try:
post_dt = datetime.strptime(item["post_date"], "%Y-%m-%d %H:%M:%S")
if start_dt <= post_dt <= end_dt:
filtered.append(item)
except (KeyError, ValueError, TypeError):
continue # 跳过缺失或格式异常的记录
return filtered
if "results" in data:
tv_shows_in_range = filter_by_date(data["results"], "2024-03-01", "2024-03-02")
print(f"Found {len(tv_shows_in_range)} TV shows posted between March 1–2, 2024.")
else:
print("Unexpected JSON structure:", list(data.keys()))三、关键注意事项与最佳实践
- ✅ 始终复现Referer：多数此类接口校验来源页，伪造Referer将导致403或空响应；
- ✅ 分页需递增pindex：避免跳页遗漏，建议配合total_pages字段（若返回）做自动翻页；
- ⚠️ 警惕动态Token或Signature：若后续请求失败，检查是否有_token、ts、sign等动态参数——它们通常由前端JS生成，需额外逆向JS逻辑；
- ⚠️ 遵守robots.txt与服务条款：rlsbb.cc等资源站存在法律与版权风险，仅限学习研究，禁止大规模高频采集或商业用途；
- ? 验证category有效性：并非所有分类名都直接生效，可通过手动切换前端分类并抓包，比对category参数值变化；
- ? 结构容错处理："tbl_wp_category" 字段在部分响应中为 null，应优先以URL参数category为准，而非依赖返回字段。
通过系统性抓包 + 参数枚举 + 客户端过滤，即使面对零文档API，也能高效获取所需结构化数据，显著降低HTML解析复杂度与维护成本。
