memory参数让Pipeline中每个fit步骤将输入哈希与输出结果缓存到磁盘，相同输入时跳过计算直接读取；仅对fit_transform或fit+transform生效，predict不缓存；需确保路径存在可写，推荐用joblib.Memory并调用.clear()清旧缓存。
Pipeline的memory参数到底起什么作用？
它不是给整个Pipeline加个缓存开关，而是让每个fit步骤（尤其是Transformer）把输入数据的哈希和输出结果存到磁盘，下次遇到相同输入时跳过计算、直接读缓存。前提是：该步骤实现了fit和transform，且输入数据是可哈希的（比如numpy.ndarray或pandas.DataFrame，但带datetime64列或含NaN的object列可能出问题）。
关键点：memory只对调用fit_transform或fit+transform的步骤生效；predict阶段不走缓存（除非你手动对transform再套一层Memory）。
怎么正确设置memory路径并避免joblib报错？
常见错误是传入相对路径或未创建目录，导致joblib在首次fit时抛OSError: [Errno 2] No such file or directory。必须确保路径存在且可写。
-
memory值可以是字符串路径（如"./cache"），也可以是joblib.Memory实例（推荐，便于控制细节） - 用
joblib.Memory(location=...)时，务必先调用.clear()清旧缓存，否则可能因旧哈希冲突导致结果错乱 - 如果Pipeline里用了自定义类，要确保其
__eq__和__hash__合理，否则joblib无法判断“输入是否相同”
示例：
立即学习“Python免费学习笔记（深入）”；
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from joblib import Memory
<p>memory = Memory(location="./pipeline_cache", verbose=0)
pipe = Pipeline([
("scaler", StandardScaler()),
], memory=memory)</p><h1>首次运行会写缓存</h1><p>pipe.fit(X_train)</p><h1>第二次运行直接读，跳过scaler.fit</h1><p>pipe.fit(X_train) # 注意：X_train必须完全一致（包括dtype、order、NaN位置）
哪些步骤适合开memory，哪些反而更慢？
缓存有开销：每次fit_transform前要计算输入哈希、查磁盘、反序列化。对本身毫秒级的步骤（如StandardScaler在小数据上），开memory反而拖慢10%–30%。
- 值得缓存的：文本向量化（
TfidfVectorizer）、特征哈希（FeatureHasher）、自定义清洗函数（含正则/IO）、耗时的PCA（n_components大+样本多） - 不建议缓存的：
StandardScaler、MinMaxScaler、OneHotEncoder（默认sparse=False时）——除非数据量超大（>1M行）且反复调试同一份训练集 - 特别注意：
ColumnTransformer内部各分支的memory需单独设，Pipeline顶层的memory不透传
为什么改了代码但缓存没更新？
joblib只认输入数据和函数/类的源码哈希，不感知外部变量或配置变更。比如你改了TfidfVectorizer(max_features=5000)，但缓存里存的是max_features=1000的版本，joblib仍会复用旧结果——因为类名和方法签名没变。
解决办法只有两个：
- 手动删缓存目录（最稳妥）
- 在
Memory中加cachedir时间戳或版本号，例如Memory(location=f"./cache_v{VERSION}")
另一个隐形坑：numpy数组若用np.array(..., copy=False)或视图切片，哈希值可能不稳定，导致缓存失效或误命中。强制用.copy()可规避。
