官方API需模拟浏览器请求头并管理Cookie或token，Wind/CEIC须用官方SDK；数据合并须统一时间索引、去重排序；增量更新应依赖API返回的lastUpdateTime或lastestdate字段；清洗需规范缺失值、单位和异常值。
requests 调用国家统计局或 Wind/CEIC API 时返回 403 或空数据
多数官方或商业 API 默认拒绝非浏览器请求头，直接 requests.get(url) 会触发反爬或权限拦截。国家统计局开放平台（data.stats.gov.cn）虽提供 HTTP 接口，但要求带 Cookie 和 User-Agent，且部分接口需先登录获取 token；Wind/CEIC 则必须走 SDK 或认证后的 HTTPS endpoint，不能裸调。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 用
requests.Session()复用连接，并统一设置headers={'User-Agent': 'Mozilla/5.0...'} - 对 stats.gov.cn，先 GET 一次首页抓取
__jsluid_s等必要 Cookie，再 POST 查询参数到https://data.stats.gov.cn/easyquery.htm - Wind/CEIC 类服务，别硬扣 URL，老实用
windpy或ceic_api官方包，传入token后调ceic_data.get_series('GDP_YOY') - 加
time.sleep(1)避免高频触发限流，尤其批量查多个指标时
用 Pandas 合并每日新数据时索引错位或重复写入
宏观指标常按“年份-季度”或“年份-月份”发布，但发布时间滞后（如 2024 年 4 月 CPI 在 5 月 9 日公布），若每次全量覆盖 CSV，会导致历史修正值丢失；若简单 pd.concat([old, new])，又容易因日期格式不一致（'202404' vs '2024-04-01'）导致重复行或 NaN。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 统一用
pd.to_datetime()解析时间列，强制转为datetime64[ns]，再设为index - 读旧数据时用
pd.read_csv(..., parse_dates=['date'], index_col='date')，写入前用df_new = df_new[~df_new.index.isin(df_old.index)]剔除已存在日期 - 合并后按索引升序排序：
df_combined = pd.concat([df_old, df_new]).sort_index() - 保存用
df_combined.to_csv(..., date_format='%Y-%m-%d', index_label='date')，避免下次读取解析失败
增量更新时如何判断「今天是否有新数据」
不是每天都有指标更新——例如 GDP 季度数据只在 1/4/7/10 月发布，CPI/PPI 每月 9 日左右发布。硬写 if datetime.now().day == 9: 不可靠，遇节假日会失效。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 对 stats.gov.cn，查
https://data.stats.gov.cn/easyquery.htm?id=zb&dbcode=hgnd&rowcode=zb返回的lastUpdateTime字段，比对本地最新日期 - 对 Wind，用
w.wss("M0000001", "lastestdate")获取指标最新更新日 - 本地存一个
last_check.json记录上次检查时间与各指标对应最新日期，每次运行先对比再决定是否拉取 - 加个兜底逻辑：若 API 返回空或 HTTP 200 但
data字段为空，跳过本次合并，不报错中断流程
清洗环节遇到「数值单位不一致」和「异常空值」
比如 M2 同一指标在不同年份返回“亿元”“万亿元”，或某月 CPI 缺失填了“—”“NULL”“...”，Pandas 会转成 object 类型，后续计算全崩。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 用
df[col].replace({'—': pd.NA, '...': pd.NA, 'NULL': pd.NA})统一缺失标记，再astype('float64') - 识别单位：若列名含 “(亿元)” ，则数值 ×1e8；含 “(万亿元)” 则 ×1e12；正则提取
re.search(r'[(（](.+?)[)）]', col_name)更稳妥 - 对明显离群值（如 CPI 突然变成 1000），用
zscore = np.abs(stats.zscore(df[col].dropna()))标记 >3 的点，人工复核后再决定填充或丢弃 - 季度数据补月度：用
df.resample('MS').interpolate(method='linear')是危险操作，宏观指标不适用；应保留原频次，显式标注freq='Q'
df.info() 看一眼 dtypes——这些动作看着琐碎，但跳过任意一步，下周就会发现数据表里混进了一堆 object 型数字。 
