讲师中心 微信公众号
AI工具推荐 视频效率加速

怎么在Python中使用切片操作避免不必要的数据拷贝

老涛小哥_3457

老涛小哥_3457

发布时间:2026-09-17 11:30:37

|

575人浏览过

|

来源于php中文网

原创

切片操作总是返回新对象,不可避免内存拷贝;真正零拷贝仅通过memoryview实现,itertools.islice适合惰性遍历,list切片优化应优先使用del原地删除。

怎么在python中使用切片操作避免不必要的数据拷贝

切片操作本身不避免拷贝,但可控制拷贝范围

Python 中的切片(如 lst[2:5] 或 s[1:-1])**总是返回新对象**,对 list、str、bytes 等内置类型而言,这意味内存拷贝不可避免。所谓“避免不必要的拷贝”,关键不是消灭切片拷贝,而是避免在不需要全部数据时,仍切出大段再丢弃——比如只取前 10 行却切了整个 GB 文件列表。

  • 对 list:切片会创建新列表,复制引用(小对象快,大列表内存/时间开销明显)
  • 对 str:同样新建字符串对象,不可变性决定了无法绕过拷贝
  • 对 memoryview 或 array.array:切片可共享底层缓冲区,真正零拷贝(但需类型支持)

用 memoryview 实现真正零拷贝切片

当你处理的是二进制数据(如从文件读入的 bytes、bytearray 或 NumPy 数组),memoryview 是唯一标准库中能实现切片不拷贝的机制。它只是原始缓冲区的“视图”,切片操作只调整起始偏移和长度。

data = b'hello world'
mv = memoryview(data)
sub = mv[0:5]  # 不拷贝,sub.obj 是 data,sub.nbytes == 5
assert sub.tobytes() == b'hello'  # 转 bytes 才触发拷贝
  • 仅适用于支持缓冲协议的对象:bytes、bytearray、array.array、numpy.ndarray 等
  • memoryview 切片后仍是 memoryview,不转成 bytes 就不分配新内存
  • 不能对普通 list 或 str 构造 memoryview(会报 TypeError: memoryview: a bytes-like object is required)

替代方案:用 itertools.islice 做惰性切片

当目标是“遍历某段子序列”而非“持有全部切片结果”,itertools.islice 是更轻量的选择。它不生成新容器,只按需产出元素,适合流式处理或大迭代器。

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载
from itertools import islice
large_range = range(10**9)  # 占内存极少
first_5 = list(islice(large_range, 5))  # 只计算前 5 个值
middle_chunk = islice(large_range, 1000, 1010)  # 无内存压力
  • islice(iterable, start, stop[, step]) 返回迭代器,不缓存中间项
  • 对非索引型迭代器(如文件行、生成器)尤其有用;但不支持负索引或反向切片
  • 若后续还需随机访问,islice 不适用——它是一次性、单向的

list 切片优化:别切完再删,改用 del 或 pop

常见误操作:用 lst = lst[n:] 截掉前 n 项。这会创建新列表并让原列表待回收,对大列表造成双倍内存峰值。更高效的做法是原地修改。

立即学习“Python免费学习笔记(深入)”;

  • 截前缀:用 del lst[:n] —— 原地删除,不产生新列表
  • 截后缀:用 del lst[-n:] 或 lst[:] = lst[:-n](后者仍拷贝,但比 lst = lst[:-n] 少一次名字重绑定)
  • 需要保留原列表?考虑用 collections.deque,popleft() 和 pop() 都是 O(1)

真正零拷贝只存在于缓冲区视图层面;其余场景所谓“避免拷贝”,本质是减少拷贝量、延迟拷贝时机,或换用更适合的数据结构。别被“切片很轻量”的直觉误导——一个 list[1:1000000] 调用,就是百万级引用的复制动作。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1891

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

5204

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1829

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

31417

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3727

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3727

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1263

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

616

2023.08.10

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn