不能用f-string拼接SQL，否则会导致SQL注入或语法错误；必须用%s占位符配合元组传参，且所有变量均由psycopg2自动转义处理。
直接用 psycopg2 批量插入 + ON CONFLICT 是最稳的路，别碰字符串拼接、别在循环里反复 commit、也别用单条 INSERT 往里怼。
为什么不能用 f-string 拼 SQL 插入语句
爬虫数据字段名和值基本来自 HTML 解析结果，比如 title 是 "iPhone 16 Pro「新品首发」"，里面带单引号、双引号甚至反斜杠。一旦你写成 f"INSERT INTO products VALUES ('{title}')"，轻则报错 syntax error at or near "新品"，重则被注入恶意 SQL（比如标题变成 "'; DROP TABLE products; --"）。
必须用参数化查询，让 psycopg2 自己处理转义：
cur.execute("INSERT INTO products (title, url) VALUES (%s, %s)", (title, url))
- 所有变量都放在元组里传给
execute()第二个参数，%s是占位符，不是 Python 的字符串格式化 - 哪怕
title是空字符串、None、含换行符，psycopg2都能安全处理 - 不要混用：不能写成
"INSERT INTO t VALUES (%s, '" + url + "')" —— 这等于把门打开
批量插入时如何避免性能崩盘
单条 INSERT 插 1000 条数据，实际发了 1000 次网络请求+1000 次事务开销，耗时可能从 0.2 秒飙到 8 秒以上。PostgreSQL 原生支持批量操作，关键就两个函数：
立即学习“Python免费学习笔记（深入）”；
-
executemany()：适合结构简单、无冲突逻辑的场景，例如日志表、原始快照表 -
execute_batch()（来自psycopg2.extras）：比executemany()更快，底层做了缓冲合并，推荐用于万级以内数据 -
execute_values()（同样来自psycopg2.extras）：生成一条带多组VALUES的 INSERT，适合需要配合ON CONFLICT的 Upsert 场景
示例（Upsert 场景）：
from psycopg2.extras import execute_values
execute_values(
cur,
"INSERT INTO products (url, title, price) VALUES %s ON CONFLICT (url) DO UPDATE SET title = EXCLUDED.title, price = EXCLUDED.price",
[(item['url'], item['title'], item['price']) for item in items],
page_size=500
)
page_size=500 控制每批最多塞 500 行，防止单条 SQL 过长触发 PostgreSQL 的 max_query_size 限制。
如何正确处理重复数据（Upsert）
爬虫最常遇到的问题不是“插不进去”，而是“重复插”——同一商品 URL 被多次抓取，你不希望它变成 5 条记录，而是一条更新后的记录。PostgreSQL 的 ON CONFLICT 是唯一靠谱解法，但有两个硬性前提：
- 目标字段（如
url）必须有UNIQUE约束或主键，否则ON CONFLICT不生效 - 不能用
ON CONFLICT DO NOTHING就完事——它只防重复，不更新内容；得用DO UPDATE SET ...显式指定哪些字段要刷新 -
EXCLUDED是关键字，代表“本次想插入但被冲突挡住的那行数据”，不是变量名，别写成EXCLUDED_title
建表时记得加约束：
CREATE TABLE products ( id SERIAL PRIMARY KEY, url TEXT UNIQUE NOT NULL, title TEXT, price NUMERIC(10,2), updated_at TIMESTAMP WITH TIME ZONE DEFAULT NOW() );
连接与事务管理容易被忽略的细节
很多人写完 cur.execute() 就以为数据落库了，其实没 commit()，事务还在挂起状态，程序一退出就全回滚。更隐蔽的问题是：用完不关游标、不关连接，会导致连接池耗尽，后续请求卡死。
- 用
with conn.cursor() as cur:可自动 close 游标，但不自动 commit - 必须显式调用
conn.commit()；如果出错要conn.rollback() - 连接对象（
conn）建议复用，不要每次插入都connect()再close()；用连接池（如psycopg2.pool.ThreadedConnectionPool）更稳妥 - 如果用 SQLAlchemy，记得关掉
autocommit=True（默认是False），否则每个语句都自动提交，没法做事务控制
真正落地时，最常卡住的地方不是语法，而是表没加 UNIQUE、SQL 没 commit、或者 EXCLUDED 写成了变量名——这三处一错，Upsert 就退化成纯插入或静默失败。
