讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

Laper
Laper

剧本策划到成片协作

SoundView
SoundView

字幕擦除翻译、配音口型同步

updream

一键生成高质量推广成片

高效合并多个NumPy .npz文件教程

大磊君_5046

大磊君_5046

发布时间:2025-07-12 14:46:34

|

550人浏览过

|

来源于php中文网

原创

高效合并多个NumPy .npz文件教程

本教程详细介绍了如何高效合并多个NumPy .npz文件。针对传统方法中因键覆盖导致数据丢失的问题,文章提出了一种解决方案:在保存数据时,将多个数组存储在字典中并使用关键字参数保存;在合并时,遍历所有文件共享的键,并对每个键对应的数组进行拼接,最终生成一个包含所有合并数据的单一.npz文件。

核心概念:.npz文件结构与合并挑战

numpy的.npz文件是一种方便的归档格式,用于存储多个numpy数组。它本质上是一个包含多个.npy文件的zip压缩包,每个.npy文件对应一个数组,并通过一个字符串键进行访问。当我们使用np.savez或np.savez_compressed保存数据时,可以传入多个数组作为位置参数,它们将默认以arr_0, arr_1等键名存储;或者传入关键字参数,此时键名即为关键字。

在尝试合并多个.npz文件时,一个常见的误区是简单地将它们加载到字典中并使用dict.update()方法。例如:

import numpy as np
import os

# 假设 file_list 是所有 npz 文件的路径列表
# data_all = [np.load(fname) for fname in file_list]
# merged_data = {}
# for data in data_all:
#     [merged_data.update({k: v}) for k, v in data.items()]
# np.savez('new_file.npz', **merged_data)

这种方法的问题在于,如果不同.npz文件中的数组具有相同的键(例如,都是arr_0或自定义的feature_data),dict.update()会用后面加载的文件中的值覆盖前面文件中的值,导致最终合并的.npz文件只包含最后一个文件的内容。正确的合并策略应该是将所有文件中相同键下的数组进行拼接(concatenate),而不是简单地覆盖。

数据准备:正确保存.npz文件

为了能够成功合并,首先需要确保原始的.npz文件以一种可拼接的方式保存。这意味着每个文件中存储的数组应该有明确的、一致的键名,并且在逻辑上是相同类型的数据。推荐的做法是将待保存的多个数组封装在一个字典中,然后使用字典解包(**操作符)的方式保存:

import numpy as np
import os

# 示例数据
arr_0_part1 = np.random.rand(10, 3)
arr_1_part1 = np.random.randint(0, 100, (10, 2))

# 将数据存储在字典中,并使用有意义的键
data_part1 = {'features': arr_0_part1, 'labels': arr_1_part1}
np.savez_compressed('data_part1.npz', **data_part1)

arr_0_part2 = np.random.rand(15, 3)
arr_1_part2 = np.random.randint(0, 100, (15, 2))
data_part2 = {'features': arr_0_part2, 'labels': arr_1_part2}
np.savez_compressed('data_part2.npz', **data_part2)

print("已创建 data_part1.npz 和 data_part2.npz")

通过这种方式,data_part1.npz和data_part2.npz都将包含名为features和labels的数组。

合并策略:按键拼接数组

有了正确保存的.npz文件,合并过程就变得直观了。核心思想是:加载所有文件,然后对于每个共享的键,收集所有文件中该键对应的数组,并使用np.concatenate将它们拼接起来。

以下是具体的合并代码示例:

import numpy as np
import os

# 假设文件已存在
# data_part1.npz, data_part2.npz
filenames = ['data_part1.npz', 'data_part2.npz']

# 1. 加载所有 npz 文件
data_all = [np.load(fname) for fname in filenames]

# 2. 初始化用于存储合并数据的字典
merged_data = {}

# 3. 遍历第一个文件的所有键(假设所有文件键结构一致)
for k in data_all[0].keys():
    # 4. 收集所有文件中当前键 k 对应的数组
    #    list(d[k] for d in data_all) 会生成一个包含所有文件对应数组的列表
    arrays_to_concatenate = [d[k] for d in data_all]

    # 5. 拼接这些数组并存储到 merged_data 中
    merged_data[k] = np.concatenate(arrays_to_concatenate)

# 6. 将合并后的数据保存为新的 npz 文件
output_filename = 'merged_dataset.npz'
np.savez_compressed(output_filename, **merged_data)

print(f"\n数据已成功合并并保存到 {output_filename}")

# 验证合并结果
loaded_merged_data = np.load(output_filename)
print(f"合并文件中包含的键:{list(loaded_merged_data.keys())}")
print(f"合并后的 'features' 数组形状:{loaded_merged_data['features'].shape}")
print(f"合并后的 'labels' 数组形状:{loaded_merged_data['labels'].shape}")

# 清理示例文件
for fname in filenames:
    os.remove(fname)
os.remove(output_filename)
print("\n示例文件已清理。")

在上述代码中,data_all[0].keys()获取了第一个.npz文件中的所有键。我们假设所有待合并的.npz文件都具有相同的键集合。然后,通过列表推导式[d[k] for d in data_all],我们为每个键k收集了所有文件对应的数组。最后,np.concatenate()将这些数组沿着默认轴(通常是第一个轴)拼接起来。

注意事项

  1. 键的一致性:此合并策略要求所有待合并的.npz文件具有相同的键集合。如果键不一致,你需要根据具体需求调整合并逻辑,例如,只合并共同的键,或者为缺失的键填充默认值。
  2. 数组形状兼容性:np.concatenate()要求除了拼接轴之外的其他轴的维度必须匹配。例如,如果拼接的是形状为(N, M, K)的数组,那么M和K必须在所有待拼接数组中保持一致,只有N可以不同。
  3. 内存消耗:在处理大量或超大.npz文件时,一次性将所有文件加载到内存中(data_all = [np.load(fname) for fname in filenames])可能会导致内存溢出。对于这种情况,可以考虑分批加载和合并,或者使用dask等库进行更高效的内存管理。
  4. 压缩与未压缩:np.savez和np.savez_compressed都可用于保存。np.savez_compressed会对数据进行压缩,节省磁盘空间,但可能增加读写时间。根据需求选择。

总结

合并多个NumPy .npz文件的关键在于理解其内部结构以及np.concatenate()的工作原理。通过在保存时明确键名,并在合并时对每个共享键下的数组进行逐一拼接,可以有效地将分散的数据整合到一个单一的.npz文件中,避免了因键覆盖而导致的数据丢失问题。这种方法保证了数据的完整性和可追溯性,是处理NumPy数组归档的专业且高效的实践。

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

相关专题

更多
js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1978

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

3304

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6464

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

6769

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

8274

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

13014

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

6779

2025.07.29

c++字符串相关教程
c++字符串相关教程

本专题整合了c++字符串相关教程,阅读专题下面的文章了解更多详细内容。

7667

2025.08.07

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

0

2026.11.20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn