SVM在高维数据下变慢的根本原因是训练时间随样本数平方增长、需缓存n×n核矩阵及默认参数低效；应通过PCA/TruncatedSVD降维、改用LinearSVC或SGDClassifier、合理调参及删冗余样本来优化。
SVM 在高维数据下变慢，根本原因不是“维度高”本身，而是训练时间随样本数平方级增长、内存需缓存核矩阵（n_samples × n_samples），再加上默认参数在高维空间里容易陷入低效搜索。直接上 sklearn.svm.SVC 往往卡住或 OOM，得从数据、模型、求解三路同时动手。
先降维：别让SVM直接面对92×112=10304维像素
原始图像或稀疏特征动辄上万维，SVC 的 rbf 核会构造全量 Gram 矩阵，内存和计算都爆炸。
- 必做：用 PCA 或 TruncatedSVD 预压缩到 100–200 维（保留 ≥95% 方差）
- 注意：whiten=True 对后续 SVC 收敛有明显加速作用，别省
- 替代方案：对文本类高维稀疏数据，优先用 LinearSVC + TfidfVectorizer(max_features=10000)，跳过核计算
换求解器：用LinearSVC代替SVC处理线性可分倾向强的数据
很多高维任务（如人脸、文本）在降维后已接近线性可分，硬上rbf 核纯属浪费。
- LinearSVC 基于坐标下降或 L-BFGS，复杂度是 O(n_samples × n_features)，比 SVC(kernel='rbf') 的 O(n_samples² × n_features) 快一个数量级
- 它不返回支持向量，但预测速度极快，且支持 class_weight='balanced' 应对小样本类别
- 如果必须用非线性核，改用 SGDClassifier(loss='hinge', learning_rate='constant') 模拟线性 SVM，在大数据集上更鲁棒
调参避坑：C和gamma别盲目网格搜索
GridSearchCV 在高维+中等样本量下极易拖垮流程，尤其当 C 和 gamma 跨多个数量级时。
- 先固定 kernel='rbf'，用 validation_curve 单独扫 C（建议范围 1e-3 到 1e3），观察训练/验证分差
- 再固定最优 C，扫 gamma（'scale' 或 'auto' 通常比手动设更稳）
- 更高效：用 Optuna 或 scikit-optimize 做贝叶斯搜索，50 次以内常能逼近最优
- 关键细节：cache_size 参数默认是 200 MB，高维数据建议设为 1000（单位 MB），否则频繁磁盘交换
数据侧加速：删支持向量以外的冗余样本
SVM 训练完只依赖支持向量，但训练过程仍要遍历全部样本。若你已有初步模型，可反向筛选： - 用粗粒度LinearSVC 先训一轮，拿到初步决策边界
- 删除离边界远（如 decision_function(X) > 2 或 ）的样本，只留边界附近样本再喂给 <code>SVC
- 这招在 ORL 人脸这类小样本集上实测可减少 30%~50% 训练时间，且精度几乎无损
真正卡住你的，往往不是算法理论，而是 PCA.whiten 没开、cache_size 还卡在默认值、或者明明线性可分却死磕 rbf。高维 ≠ 必须用核，快的前提是承认数据没那么“非线性”。
