讲师中心 微信公众号
AI工具推荐 视频效率加速

如何提升Python对稀疏矩阵的存储效率_利用scipy.sparse库的各种格式

云婷同学_3403

云婷同学_3403

发布时间:2026-06-22 14:16:58

|

818人浏览过

|

来源于php中文网

原创

选CSR还是CSC取决于主要操作类型:行操作(如矩阵乘向量、行切片)用csr_matrix,列操作(如列切片、解方程、特征选择)用csc_matrix;构建阶段优先用coo_matrix或dok_matrix,再转为目标格式。

如何提升python对稀疏矩阵的存储效率_利用scipy.sparse库的各种格式

选对格式比盲目压缩更重要:CSR/CSC 不是万能解,COO 和 DOK 在构建阶段更灵活,但用错场景会拖慢 10 倍以上。

csr_matrix 和 csc_matrix 哪个该用?看你的主要操作类型

CSR(csr_matrix)和 CSC(csc_matrix)内存占用几乎一样,但访问模式完全不同:

  • 如果你频繁做 @(矩阵乘向量)、dot、行切片(如 sparse_mat[5, :]),优先用 csr_matrix
  • 如果你常做列切片(如 sparse_mat[:, 10])、解线性方程(scipy.sparse.linalg.spsolve),或做特征选择(按列筛选特征),选 csc_matrix
  • 误把 csc_matrix 当成“通用替代”来替代 CSR,在矩阵乘法中可能慢 3–5 倍——因为底层循环遍历的是列指针,而乘法天然按行展开
  • 两者互相转换(.tocsr() / .tocsc())不是零成本,会触发完整数据重排,别在热循环里调用

构建稀疏矩阵时,别直接用 csr_matrix 或 csc_matrix

它们的构造函数接受 (data, (row, col)) 元组,但内部仍要排序+去重+压缩,效率低且不支持增量赋值:

  • coo_matrix 构建:适合从原始三元组(比如日志里的 (user_id, item_id, rating))一次性组装,支持重复索引自动累加(coo_matrix(..., dtype=np.float64) 默认开启)
  • dok_matrix 构建:适合边读边写、随机赋值(如 sparse_dok[123, 456] = 1.0),内部是 dict,插入快但不能直接用于计算
  • 构建完立刻转成目标格式:coo_matrix(...).tocsr() 比直接 csr_matrix(...) 快 2–4 倍;dok_matrix 转换前记得先 .asformat('coo') 再转,避免 dict 遍历开销

内存占用差异远大于格式名字暗示的范围

同一份非零数据,不同格式实际内存开销差异显著,尤其在小矩阵或高稀疏度下:

python全能编程助手
python全能编程助手

SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能,主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ,专为学生、算法学习者和开发者设计;✅ 一个技能,两种用途 :;核心要点📝 题解模式 :输入题目/题号,自动生成完整 Python 题解(含详细注释、解题思路、复杂度分析);💬 注释模式 :输入 Python 代码,自动添加详细中。它将相关步骤、

下载

立即学习Python免费学习笔记(深入)”;

  • coo_matrix 存三个等长数组(row, col, data),总开销 ≈ 3 * nnz * 8 字节(float64)
  • csr_matrix 多存一个长度为 m+1indptr,当行数 m 很大(比如百万级用户 ID)但 nnz 很小时,indptr 可能吃掉几 MB 冗余内存
  • dok_matrix 是 Python dict,每个键值对有哈希表开销,nnz > 10^4 后就明显不如 COO
  • 实测:100 万 × 100 万、nnz=5e4 的矩阵,coo 占 1.2 MB,csr 占 1.9 MB(多出的 0.7 MB 几乎全是 indptr),dok 占 4.3 MB

稀疏性极高的场景,别忽略 scipy.sparse.bmat 和 block_diag

当你处理分块结构(如推荐系统中用户-物品子矩阵拼接、图神经网络中的邻接块),硬摊平成单一大矩阵会浪费空间并破坏局部性:

  • scipy.sparse.bmat 支持用二维 list 构建块矩阵,不立即合并内存,延迟压缩,适合动态组合
  • scipy.sparse.block_diag 对角块拼接零拷贝,比手动填充 coo 三元组快且安全
  • 注意:这些函数输出默认是 coo_matrix,后续必须显式转成 csrcsc 才能高效运算,否则 .dot() 会先隐式转换,不可控

真正卡住性能的往往不是“用了稀疏矩阵”,而是格式切换时机不对、构建路径绕远、或者误以为 CSR 就是终极答案。矩阵维度、操作频次、构建方式这三点没对齐,再好的格式也白搭。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1571

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

3724

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1569

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

21317

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2627

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2687

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1083

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

576

2023.08.10

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

20

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn