讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

剧云
剧云

中文短剧剧本制作平台

AniShort
AniShort

AI短剧协同制作平台

Seko
Seko

AI短剧一键生成成片

numpy 如何高效实现“分组取 top-k”操作

夏萱君_4985

夏萱君_4985

发布时间:2026-01-17 19:38:02

|

656人浏览过

|

来源于php中文网

原创

NumPy高效实现“分组取top-k”的核心是绕过Python循环,通过预排序+分段切片或argpartition向量化处理:先按group和value联合排序,再用unique定位组边界并切片取前k;或用bincount+repeat构造局部索引后对每组argpartition(-k)映射回全局。

numpy 如何高效实现“分组取 top-k”操作

用 NumPy 高效实现“分组取 top-k”需要绕过 Python 循环,核心思路是:先排序(或部分排序),再利用分组索引定位每组的前 k 个位置。纯 NumPy 下没有内置 groupby,但可通过 np.argsort、np.searchsorted 和布尔/索引技巧组合完成。

按分组键预排序 + 分段切片

适用于分组键已知且各组大小较均匀的场景。先将数据按 group key 排序,使同组元素连续;再计算每组起始位置,对每段取前 k 个。

步骤如下:

  • 用 np.lexsort((values, groups)) 同时按 group 和 value 排序(升序);若要取最大值,可对 values 取负或用 [::-1]
  • 用 np.unique(groups, return_index=True) 获取每组在排序后数组中的首个位置
  • 构造每组的切片范围:starts 和 ends = np.append(starts[1:], len(sorted_data))
  • 对每组区间 [start, min(start+k, end)] 提取索引或值

用 argpartition 实现近似 top-k(更快,不严格排序)

当只需 top-k 的值/索引(不要求内部顺序),np.argpartition 比 argsort 快得多(O(n) 平均复杂度)。关键在于:对每组独立做 partition —— 这需借助向量化索引模拟“分组操作”。

常用技巧:

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载
  • 将 group ID 映射为偏移量:例如 offset = groups * max_group_size,再与原 index 组合构造全局唯一“伪坐标”
  • 更稳健的做法:用 np.bincount(groups, minlength=G) 得各组长度,累积求起始位置,再用 np.repeat 和 np.arange 构造每组内局部索引
  • 对每组内的局部 value 子数组调用 argpartition(-k),再取最后 k 个索引并映射回全局位置

结合 boolean mask 的向量化筛选(适合 k=1 或小 k)

当 k 很小(如 k=1),可用广播比较直接标记 top-k:对每个 group,判断该元素是否大于等于该组中第 k 大的值。

操作要点:

  • 用 np.maximum.reduceat 或 scipy.ndimage.maximum(配合 labels)求每组最大值;但求第 k 大需额外处理
  • 更通用:先用 np.sort 沿 group 内部排序(需提前 reshape 成二维,每行一组),再取每行倒数第 k 个作为阈值
  • 构建 mask:values >= group_kth_threshold[groups],再用 np.where + np.argsort 在 mask 内二次排序保留 top-k 顺序

实际建议:权衡可读性与性能

纯 NumPy 实现灵活但易出错。若项目允许,推荐:

  • k 固定且不大 → 用 np.argsort + np.split / np.array_split 配合 list comprehension(简洁清晰,小数据下足够快)
  • 大数据 + 高频调用 → 预先按 group 排序,缓存 starts 和 lengths,后续用 np.take + np.arange 向量化提取
  • 追求极致性能且 group 数多 → 改用 Numba 加速循环(@njit),几行就能写出比纯 NumPy 更快的分组 top-k

不复杂但容易忽略:top-k 结果的稳定性(相同值的相对顺序)需在排序时传入 kind='stable',否则 argsort 默认的 quicksort 可能打乱原始次序。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

相关专题

更多
java中boolean的用法
java中boolean的用法

在Java中,boolean是一种基本数据类型,它只有两个可能的值:true和false。boolean类型经常用于条件测试,比如进行比较或者检查某个条件是否满足。想了解更多java中boolean的相关内容,可以阅读本专题下面的文章。

2150

2023.11.13

java boolean类型
java boolean类型

本专题整合了java中boolean类型相关教程,阅读专题下面的文章了解更多详细内容。

163

2025.11.30

sort排序函数用法
sort排序函数用法

sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

1158

2023.09.04

go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

2152

2025.09.03

append用法
append用法

append是一个常用的命令行工具,用于将一个文件的内容追加到另一个文件的末尾。想了解更多append用法相关内容,可以阅读本专题下面的文章。

618

2023.10.25

python中append的用法
python中append的用法

在Python中,append()是列表对象的一个方法,用于向列表末尾添加一个元素。想了解更多append的更多内容,可以阅读本专题下面的文章。

1496

2023.11.14

python中append的含义
python中append的含义

本专题整合了python中append的相关内容,阅读专题下面的文章了解更多详细内容。

3084

2025.09.12

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

0

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

0

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn