object列内存占用大因每字符串独立存储且存指针；category用整数ID+共享词典压缩，100万行100个唯一值可从120MB降至5–10MB。
为什么 object 列吃内存特别狠？
Python 的 pandas.DataFrame 中，字符串列默认是 object 类型，底层实际存的是指向 Python 字符串对象的指针数组。每个指针在 64 位系统上占 8 字节，但更关键的是：每条字符串本身在内存中独立存储，哪怕内容完全重复（比如上百万行都是 "北京"），也会被拷贝上百次。
而 category 类型本质是“用整数编码 + 共享词典”的方式——所有唯一值只存一份（在 categories 中），原数据列只存对应的整数 ID（通常是 int8 / int16）。当唯一值数量远小于总行数时，压缩效果极明显。
实测：100 万行、100 个唯一城市的 object 列约占 120 MB；转成 category 后通常压到 5–10 MB。
怎么安全地把 object 列转成 category？
直接调 df["col"] = df["col"].astype("category") 最常用，但有三个必须注意的点：
立即学习“Python免费学习笔记（深入）”；
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
- 如果该列含大量
NaN，转换后NaN会保留在 category 的categories中（作为特殊标记），不影响后续操作，但会略微增加词典大小——一般可忽略 - 若列中存在极长字符串（如整段日志），即使只出现一次，也会被完整存入词典，反而可能增大内存——先用
.str.slice(0, 200)截断再转 - 不要对高基数列（如用户 ID、时间戳字符串）盲目转 category：若唯一值数量 > 总行数的 10%，收益极小甚至负向（因整数 ID 占用 + 词典开销）
推荐加一层判断：
if df["city"].nunique() / len(df) < 0.1:
df["city"] = df["city"].astype("category")
转完 category 后哪些操作会悄悄变慢？
category 节省内存不等于提速。以下操作实际会变慢：
-
.str.contains()、.str.startswith()等字符串方法——category 不支持，会自动回退为 object 拷贝，触发隐式转换和内存暴涨 -
.sort_values()默认按词典序排，但如果你依赖原始字符串顺序（比如“2023-01”“2023-02”），得先确认df["date"].cat.categories是有序的，否则要手动设ordered=True或改用pd.Categorical(..., ordered=True) - 写入 Parquet 时，如果用
pyarrow引擎，默认把 category 当 dictionary 类型存，读取快；但用fastparquet可能降级为 object，失去优势
批量处理多列时怎么避免踩坑？
别用 df.select_dtypes("object").astype("category") 一键全转——它会把所有 object 列（包括你根本不想动的 ID 列、JSON 字符串列）都塞进 category，大概率崩掉内存或拖慢计算。
更稳妥的做法是明确指定目标列：
cat_cols = ["province", "city", "industry", "gender"]
for col in cat_cols:
if col in df.columns and df[col].dtype == "object":
nuniq = df[col].nunique()
if nuniq < 1000: # 控制基数上限
df[col] = df[col].astype("category")
真正容易被忽略的是：category 的内存节省只在 DataFrame 持有时生效；一旦你调用 .values、.to_numpy() 或参与 merge 等操作，pandas 可能临时解码回字符串，瞬时内存飙升。如果 pipeline 中有这类操作，建议在关键步骤前后用 df.memory_usage(deep=True).sum() 监控。
