讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

updream

一键生成高质量推广成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

剧云
剧云

中文短剧剧本制作平台

如何在不全量加载 CSV 文件到内存的情况下高效计算用户年龄中位数

千萱大大_1299

千萱大大_1299

发布时间:2026-01-27 11:16:16

|

1005人浏览过

|

来源于php中文网

原创

如何在不全量加载 CSV 文件到内存的情况下高效计算用户年龄中位数

本文介绍如何使用 csv.dictreader 流式读取制表符分隔的 csv 文件,避免内存溢出,同时正确提取出生年份并计算当前(2024年)年龄的中位数,解决 '_csv.reader' object is not subscriptable 类型错误。

在处理大型 CSV 文件时,为节省内存,应避免将整个文件一次性读入列表或 DataFrame。Python 的 csv 模块提供了流式读取能力,但需注意 csv.reader 与 csv.DictReader 的关键区别:前者返回每行为 list(需用索引访问字段,如 row[2]),后者返回每行为 dict(支持按列名访问,如 row['birth_year'])。原代码中误将 csv.reader 对象当作字典使用(data['birth_year']),导致 TypeError。

正确做法是改用 csv.DictReader,它自动将首行解析为字段名,并为后续每一行构建键值映射。此外,我们采用生成器表达式 (2024 - int(row['birth_year']) for row in reader) 实现惰性求值——年龄值在中位数计算过程中逐个生成,全程不构建完整列表,真正实现低内存占用。

以下是完整、健壮的实现(含基础异常处理):

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载
import csv
from statistics import median

def median_age(filename):
    try:
        with open(filename, 'r', encoding='utf-8') as file:
            reader = csv.DictReader(file, delimiter='\t')

            # 验证必需字段是否存在
            if 'birth_year' not in reader.fieldnames:
                raise ValueError(f"Missing required column 'birth_year' in {filename}")

            # 生成年龄序列(跳过空值或无效年份)
            ages = []
            for row in reader:
                try:
                    birth_year = int(row['birth_year'].strip())
                    if 1900 <= birth_year <= 2024:  # 合理年份范围过滤
                        ages.append(2024 - birth_year)
                except (ValueError, TypeError):
                    continue  # 跳过无法解析的行

            if not ages:
                raise ValueError(f"No valid birth_year found in {filename}")

            return median(ages)

    except FileNotFoundError:
        raise FileNotFoundError(f"File '{filename}' not found.")
    except Exception as e:
        raise RuntimeError(f"Error processing {filename}: {e}")

使用示例:
假设 data.csv 内容如下(制表符分隔):

first   last    birth_year
paul    henry   2019
bill    thompson    1995
mary    allen   2003
jennifer    davis   2015
liz morgan  1999

调用 median_age('data.csv') 将返回 21.0(对应年龄序列 [5, 29, 21, 9, 25] 的中位数)。

关键注意事项:

  • ✅ 始终指定 encoding='utf-8' 防止中文或特殊字符报错;
  • ✅ 使用 DictReader 而非 reader 实现列名访问;
  • ✅ 通过生成器+显式循环+过滤,兼顾内存效率与数据鲁棒性;
  • ❌ 避免在 csv.reader 上直接使用方括号索引(如 row['xxx']);
  • ⚠️ 若文件无标题行,需手动传入 fieldnames= 参数;若分隔符非制表符,请同步调整 delimiter。

该方案适用于 GB 级日志或用户档案 CSV,单次遍历、零中间列表、错误可追溯,是生产环境推荐的轻量级年龄统计实践。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7379

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3505

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

4608

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

3085

2025.08.29

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

60

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

40

2026.11.06

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

40

2026.11.06

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

60

2026.11.05

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

40

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn