本文介绍如何将单 url 的 python 请求脚本扩展为批量处理 url 列表，自动采集每个响应中的结构化数据，逐次追加至 pandas dataframe，并最终导出为 csv 文件。
在实际数据采集或地址验证等场景中，往往需要对一批 URL（例如不同邮政编码的查询接口）发起请求，而非仅执行一次。原始脚本仅支持单 URL 处理，缺乏可扩展性。下面我们将重构代码，实现循环请求 + 增量构建 DataFrame + 一键导出 CSV 的完整工作流。
✅ 核心改进点
- 将硬编码 url 替换为 urls 列表，支持任意数量目标；
- 使用 for url in urls: 显式遍历，避免重复逻辑；
- 每次响应解析后生成临时 DataFrame，并通过 pd.concat()（推荐）或 .append()（已弃用，但兼容旧版）合并到主 DataFrame；
- 最终调用 .to_csv() 保存结果，禁用索引以保证 CSV 清洁可读。
? 完整可运行代码（优化版）
import requests
import pandas as pd
# ✅ 定义待请求的 URL 列表（可扩展至数百/数千条）
urls = [
'https://ws1.postescanada-canadapost.ca/AddressComplete/Interactive/Find/v2.10/json3ex.ws?Key=TF36-KU97-AB94-ZC85&Country=CAN&SearchTerm=L2A%200A2&LanguagePreference=en&LastId=CA%7CCP%7CENG%7C0A2-L2A&SearchFor=Everything&OrderBy=UserLocation&$block=true&$cache=true',
'https://ws1.postescanada-canadapost.ca/AddressComplete/Interactive/Find/v2.10/json3ex.ws?Key=TF36-KU97-AB94-ZC85&Country=CAN&SearchTerm=M5V%203L9&LanguagePreference=en&LastId=CA%7CCP%7CENG%7C3L9-M5V&SearchFor=Everything&OrderBy=UserLocation&$block=true&$cache=true',
# ? 可继续添加更多 URL
]
# ✅ 统一请求头（保持与原脚本一致，确保服务端识别合法来源）
headers = {
'authority': 'ws1.postescanada-canadapost.ca',
'accept': '*/*',
'accept-language': 'en-US,en;q=0.9',
'cache-control': 'no-cache',
'origin': 'https://www.canadapost-postescanada.ca',
'pragma': 'no-cache',
'referer': 'https://www.canadapost-postescanada.ca/ac/',
'sec-ch-ua': '"Not A(Brand";v="99", "Google Chrome";v="121", "Chromium";v="121"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'cross-site',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
}
# ✅ 初始化空 DataFrame（列名需提前定义，确保类型一致）
final_df = pd.DataFrame(columns=['results_subset_alpha', 'results_subset_beta'])
# ✅ 主循环：逐个请求、解析、追加
for i, url in enumerate(urls, 1):
print(f"[{i}/{len(urls)}] Requesting: {url[:60]}...")
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status() # 抛出 HTTP 错误（如 404/500）
data = response.json()
items = data.get('Items', [])
# ✅ 使用列表推导式高效提取字段（更简洁、更 Pythonic）
texts = [item['Text'] for item in items]
descriptions = [item['Description'] for item in items]
# ✅ 构建当前批次 DataFrame 并合并（推荐使用 concat 替代已弃用的 append）
batch_df = pd.DataFrame({
'results_subset_alpha': texts,
'results_subset_beta': descriptions
})
final_df = pd.concat([final_df, batch_df], ignore_index=True)
except requests.exceptions.RequestException as e:
print(f"❌ Request failed for {url}: {e}")
continue
except (KeyError, ValueError, TypeError) as e:
print(f"❌ JSON parsing error for {url}: {e}")
continue
# ✅ 导出结果（安全路径 + 中文兼容编码可选）
output_file = 'address_results.csv'
final_df.to_csv(output_file, index=False, encoding='utf-8-sig')
print(f"✅ Successfully saved {len(final_df)} rows to '{output_file}'")⚠️ 注意事项与最佳实践
- 错误处理必加：网络请求易失败（超时、连接中断、返回非 JSON），务必用 try/except 包裹核心逻辑；
- 避免 .append()：Pandas 2.0+ 已弃用该方法；应统一使用 pd.concat([df1, df2], ignore_index=True)；
- 响应校验不可少：调用 response.raise_for_status() 可捕获 HTTP 异常；检查 data.get('Items') 防止 KeyError；
- 性能提示：若 URL 数量极大（>100），建议加入 time.sleep(0.1) 或使用 concurrent.futures.ThreadPoolExecutor 实现并发（注意 API 限流）；
- CSV 编码：encoding='utf-8-sig' 可确保 Excel 正确显示中文/特殊字符。
通过以上改造，你的脚本即可稳健、可维护地完成多 URL 批量采集任务——从单点调试迈向生产就绪。
