讲师中心 微信公众号
AI工具推荐 视频效率加速

高效创建高维重复数组:np.broadcast_to 与内存优化实践

浅敏同学_3094

浅敏同学_3094

发布时间:2026-10-30 15:01:26

|

969人浏览过

|

来源于php中文网

原创

高效创建高维重复数组:np.broadcast_to 与内存优化实践

使用 np.broadcast_to 可在零拷贝前提下生成指定形状的虚拟视图,比嵌套 np.repeat 快数十倍;若需真实副本,配合 .copy() 仍显著优于 np.tile 或多次 repeat。

使用 `np.broadcast_to` 可在零拷贝前提下生成指定形状的虚拟视图,比嵌套 `np.repeat` 快数十倍;若需真实副本,配合 `.copy()` 仍显著优于 `np.tile` 或多次 `repeat`。

在 NumPy 中,当需要将一个低维数组(如 (13, 25))沿新轴“广播复制”为高维数组(如 (13, 25, 361, 721, 11))时,最高效的方式不是复制数据,而是利用广播机制构建只读视图。原始方案中嵌套三次 np.repeat 不仅代码冗长,更因逐层内存分配与复制,耗时达 4–5 秒,且生成约 1.3 GB 的稠密数组(float64 × 13×25×361×721×11 ≈ 1.3e9 元素)。

✅ 首选方案:零拷贝广播视图(推荐用于只读场景)

ll = np.ones((13, 25))  # 实际为你的任意 (13, 25) 数组
# 构建 shape=(13, 25, 361, 721, 11) 的广播视图
ll_ijk = np.broadcast_to(ll[:, :, None, None, None], (13, 25, 361, 721, 11))

该操作瞬时完成(微秒级),内存占用几乎为零——ll_ijk 本质是 ll 的带维度扩展视图。修改 ll 会同步反映到所有 ll_ijk[:, :, i, j, k] 切片中,验证如下:

ll[0, 0] = 999
print(ll_ijk[0, 0, 0, 0, 0])  # → 999.0
print(ll_ijk[0, 0, 360, 720, 10])  # → 999.0

⚠️ 注意事项:

  • 若后续需原地修改 ll_ijk 的某一部分(如 ll_ijk[:, :, 0, 0, 0] += 1),会触发 ValueError: assignment destination is read-only。此时必须显式复制:
    ll_ijk = np.broadcast_to(...).copy()  # 复制后可写
  • 若目标形状为 (361, 721, 11, 13, 25)(即新轴前置),可直接广播原始数组:
    ll_ijk = np.broadcast_to(ll, (361, 721, 11, 13, 25))  # 更简洁,但注意内存布局差异

⚡ 性能对比(实测,单位:秒)
| 方法 | 代码示意 | 耗时(≈) | |--------|-----------|------------| | 原始嵌套 repeat | np.repeat(np.repeat(...)) | 4.5 s | | np.tile(推荐形状) | np.tile(ll[...,None,None,None], (1,1,361,721,11)) | 2.5 s | | np.empty + assign | arr = np.empty(...); arr[...] = ll[...,None,None,None] | 1.68 s | | broadcast_to + copy | np.broadcast_to(...).copy() | 1.53 s(最优副本方案) |

? 关键原理:NumPy 广播通过调整 strides 和 shape 元数据实现逻辑扩展,避免物理复制。而 np.repeat 和 np.tile 均强制分配新内存并填充数据,效率天然受限。

? 总结建议:

  1. 优先用 np.broadcast_to —— 适用于计算中仅需读取、或与其它数组做广播运算的场景(如 result = ll_ijk + other_array);
  2. 必须写入时,用 np.broadcast_to(...).copy() —— 比 np.tile 或手动 empty+assign 更快、更清晰;
  3. 避免嵌套 repeat:语义不清、性能差、易出错;
  4. 注意维度顺序:(13,25,361,721,11) 比 (361,721,11,13,25) 内存连续性更好,访问更快(尤其配合后续切片或迭代)。

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

相关专题

更多
Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

20

2026.10.28

Vite 项目目录怎么看
Vite 项目目录怎么看

Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。

40

2026.10.28

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

140

2026.10.22

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

80

2026.10.22

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

80

2026.10.22

Gradle怎么构建Java项目
Gradle怎么构建Java项目

本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。

40

2026.10.22

PHP时间戳漏洞修复教程
PHP时间戳漏洞修复教程

本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。

80

2026.10.22

Golangci-lint配置文件与规则设置
Golangci-lint配置文件与规则设置

本专题聚焦Golangci-lint YAML配置文件,讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置,便于团队统一检查标准。

40

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Webpack4.x---十天技能课堂
Webpack4.x---十天技能课堂

共20课时 | 2.1万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 0.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn