讲师中心 微信公众号
AI工具推荐 视频效率加速

如何利用Python的memoryview在不拷贝数据的情况下处理大内存块?

云婷同学_9763

云婷同学_9763

发布时间:2026-07-13 10:16:21

|

184人浏览过

|

来源于php中文网

原创

memoryview能零拷贝操作但需严格满足条件:仅支持缓冲协议的对象(如bytearray、bytes、array.array、特定numpy.ndarray)可创建,str等不支持;切片越界静默返回空视图,须主动校验长度;仅socket.send、struct.unpack_from等明确支持缓冲协议的接口才真正零拷贝,hashlib.update等需转bytes触发拷贝;可写性取决于原对象(bytes只读,bytearray可写),且视图生命周期不得长于原对象。

如何利用python的memoryview在不拷贝数据的情况下处理大内存块?

memoryview 确实能帮你避免拷贝,但前提是用对对象、用对场景、用对接口——它不是“套上就快”,而是“用错就慢甚至出错”。

传什么对象才能创建有效的 memoryview

必须传支持缓冲协议(buffer protocol)的可变或不可变二进制对象,常见合法输入只有这几个:

  • bytearray(最推荐:可读可写,生命周期易控)
  • bytes(只读,适合解析阶段)
  • array.array('B') 或 array.array('I') 等字节级类型
  • numpy.ndarray(dtype 必须是字节兼容型,如 np.uint8)

传 str 会直接报 TypeError: memoryview: a bytes-like object is required, not 'str';传普通 list 或 dict 会报 TypeError: memoryview: does not have the buffer interface。别试图绕过类型检查——它拦住的是根本不可行的操作。

memoryview 切片为什么没报错但数据不对?

切片如 mv[1000:] 返回空视图,不抛异常;而 mv[1000] 才触发 IndexError。这意味着越界静默失败,极易埋下逻辑 bug。

  • 务必在切片前确认 len(mv) >= start + length,尤其在网络包解析或文件头读取时
  • 用 .nbytes 比 len() 更可靠(len() 对多维视图可能返回第一维长度)
  • 避免链式切片:如 mv[10:100][20:30] —— 第二层切片仍基于原始内存,但可读性差且易算错偏移

哪些函数接受 memoryview 而不强制拷贝?

只有明确支持缓冲协议的底层接口才能真正零拷贝。不是所有“能接收 bytes 的地方”都认 memoryview。

Python数据分析(专业版)
Python数据分析(专业版)

企业级Python数据分析方案,支持机器学习建模、时间序列预测、大数据处理与自动化报表。

下载

立即学习“Python免费学习笔记(深入)”;

  • ✅ socket.send(mv)、os.write(fd, mv)、struct.unpack_from(fmt, mv, offset) —— 直接走 C 层 buffer 接口
  • ❌ hashlib.md5().update(mv) 报 TypeError;必须写成 .update(bytes(mv)),这一步就触发完整拷贝
  • ⚠️ json.dumps()、print(mv)、str(mv) 都不适用——它们需要 Python 对象语义,memoryview 只能转成 bytes 或 list 后再用

关键判断:查该函数 CPython 源码或文档是否写着 “accepts a buffer object” 或 “supports the buffer protocol”。不确定就测——用 tracemalloc 或 psutil.Process().memory_info().rss 对比前后内存增长。

为什么 memoryview 改了原对象,但有时又改不动?

可写性取决于原始对象本身:bytes 不可变 → memoryview 只读;bytearray 可变 → memoryview 可写。但更隐蔽的问题是生命周期。

  • 一旦原始 bytearray 被 del 或函数返回后局部变量被回收,对应 memoryview 就变成悬空指针
  • 此时读可能返回旧值或随机字节,写可能触发 ValueError: underlying buffer is not writable 或静默破坏其他内存
  • 典型陷阱:把 memoryview 存进类属性或全局 dict,却让构造它的 bytearray 在函数退出后即销毁

没有运行时 API 能检测视图是否有效——唯一靠谱的做法是确保原对象存活时间 ≥ 所有视图的整个使用周期,必要时用 weakref.ref 做守卫,但代价是额外开销。

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1571

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

3764

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1589

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

21597

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2667

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2727

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1103

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

576

2023.08.10

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

60

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn