能实现，但关键不在“自动”，而在“稳”——网络请求失败、页面结构变动、反爬策略升级、数据格式漂移四类问题消耗80%维护时间；需用requests.Session保持会话、校验登录状态、区分HTML/JSON解析；CSV处理要强制指定列名、统一字段类型、校验列一致性；crontab须用绝对路径调用虚拟环境Python；日志、配置化和字段校验比全自动更重要。
能实现，但关键不在“自动”，而在“稳”——网络请求失败、页面结构变动、反爬策略升级、数据格式漂移，这四类问题会吃掉你 80% 的维护时间。
requests + BeautifulSoup 抓取网页数据时，为什么总卡在登录后？
多数业务系统需要会话保持，requests.get() 直接访问首页拿不到真实数据，因为没带 cookie 或没走完整登录流程。
- 用
requests.Session()实例代替单次requests.get()，它自动管理 cookie 和 headers - 先 POST 登录接口（抓包看实际登录 URL 和表单字段，比如
username、password、csrf_token），再用同一 session 访问目标数据页 - 务必检查响应状态码：
r.status_code != 200或"login" in r.url表示登录失败，别直接 parse - 某些系统返回 JSON 数据而非 HTML，此时不用
BeautifulSoup，改用r.json()
用 pandas 合并多日 CSV 时，列名不一致导致 concat() 报错
业务方今天加一列“审核人”，明天删一列“备注”，CSV 表头变来变去，pandas.read_csv() 默认按首行推断列名，很容易崩。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 读取时强制指定列名：
pd.read_csv(file, names=['date', 'order_id', 'amount'], header=0)，忽略原始表头 - 写入时禁用表头：
df.to_csv('daily.csv', index=False, header=False)，避免后续 concat 时把表头当数据行 - 合并前统一字段类型：
df['amount'] = pd.to_numeric(df['amount'], errors='coerce')，把空值或异常字符转为NaN - 别依赖
ignore_index=True掩盖问题，先用df.columns.equals(other_df.columns)做校验再 concat
定时执行脚本时，Linux crontab 总提示 No module named 'pandas'
cron 启动的 shell 环境不加载你的 conda 或 virtualenv，它用的是系统默认 Python 和 site-packages。
立即学习“Python免费学习笔记（深入）”；
- 在 crontab 里写绝对路径：
0 7 * * * /path/to/venv/bin/python /path/to/script.py - 或者显式激活环境：
0 7 * * * source /path/to/venv/bin/activate && python /path/to/script.py（注意：部分 cron 不支持 source，优先选前者） - 加日志输出排查：
0 7 * * * /path/to/venv/bin/python /path/to/script.py >> /var/log/data_pull.log 2>&1 - 脚本开头加
#!/path/to/venv/bin/python并chmod +x，cron 里直接调用脚本文件也可行
真正的难点不是写完第一版脚本，而是下周页面 class 名从 data-table 改成 js-data-grid，或是某天数据库导出 CSV 编码突然变成 GBK。留好日志、做字段校验、把 selector 和字段映射单独抽成配置文件，比追求“全自动”重要得多。
