讲师中心 微信公众号
AI工具推荐 视频效率加速

SQL如何实现分组内数据的去重合并_使用GROUP_CONCAT结合DISTINCT

老芳姑娘_7238

老芳姑娘_7238

发布时间:2026-05-16 19:34:09

|

714人浏览过

|

来源于php中文网

原创

能,GROUP_CONCAT(DISTINCT column)仅对当前分组内该列值去重,不跨组生效,且不支持多字段加DISTINCT;需注意NULL处理、collation敏感性、group_concat_max_len截断及严格模式下GROUP BY字段完整性要求。

sql如何实现分组内数据的去重合并_使用group_concat结合distinct

GROUP_CONCAT 里用 DISTINCT 真的能去重吗?

能,但只对 GROUP_CONCAT 内部传入的单个表达式生效,不是对整个分组结果去重。比如 GROUP_CONCAT(DISTINCT phone) 会先对每组内的 phone 值去重,再拼接;但若你写成 GROUP_CONCAT(DISTINCT name, phone),MySQL 会直接报错 —— GROUP_CONCAT 不支持多字段 + DISTINCT 的组合语法。

GROUP_CONCAT(DISTINCT ...) 的典型误用场景

常见错误是以为加了 DISTINCT 就能解决“同名不同人”或“字段组合重复”的问题。实际上它只作用于括号内那个列(或表达式)的值本身:

  • 错误写法:SELECT name, GROUP_CONCAT(DISTINCT phone) FROM customers GROUP BY name —— 这确实能合并去重电话,但前提是所有同名用户的 phone 值天然可合并;如果 name 字段本身就有脏数据(如大小写混用、空格不一致),DISTINCT 不会帮你标准化
  • 更隐蔽的问题:当 phone 是 NULL,GROUP_CONCAT 默认忽略它,且 DISTINCT 对 NULL 无效 —— 多个 NULL 仍只算一个空项,但不会出现在结果里
  • 字符长度限制:默认 group_concat_max_len = 1024,超长会被截断,且不报错;需提前 SET SESSION group_concat_max_len = 1000000

和 GROUP BY 配合时,为什么不能只靠 DISTINCT?

因为 DISTINCT 是查询级去重,而 GROUP BY 是逻辑分组基础。如果你要“按 name+email 分组,再对 phone 去重合并”,必须明确写出分组字段,否则 MySQL 5.7+ 会报错(严格模式下):

  • 合法:SELECT name, email, GROUP_CONCAT(DISTINCT phone SEPARATOR '; ') FROM customers GROUP BY name, email
  • 非法(在严格 SQL 模式下):SELECT name, GROUP_CONCAT(DISTINCT phone) FROM customers GROUP BY name —— 若表中存在相同 name 但不同 email 的行,MySQL 无法确定该取哪条 email,会拒绝执行
  • 注意:MySQL 8.0+ 支持函数索引,但 GROUP_CONCAT 本身不可索引,性能瓶颈常出现在大分组 + 高基数字符串拼接上

替代方案:什么时候该换窗口函数?

当你需要保留原始行结构(比如还要带 id 或 create_time),又想合并同类字段,GROUP_CONCAT 就不够用了。例如:“每个用户最新一条记录的全部字段 + 所有历史 phone 合并为字符串”:

  • GROUP_CONCAT 只能输出聚合结果,无法同时返回非分组字段的原始值
  • 此时应改用 ROW_NUMBER() 定位主记录,再用子查询或 JOIN 关联聚合结果
  • 示例片段:WITH latest AS (SELECT *, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY create_time DESC) AS rn FROM users), phones AS (SELECT user_id, GROUP_CONCAT(DISTINCT phone) AS all_phones FROM users GROUP BY user_id) SELECT l.*, p.all_phones FROM latest l JOIN phones p ON l.user_id = p.user_id WHERE l.rn = 1

真正容易被忽略的是:GROUP_CONCAT 的排序依赖 ORDER BY 子句(写在括号内),不写就按存储顺序拼,而这个“存储顺序”在 InnoDB 中既不保证也不稳定。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
C语言变量命名
C语言变量命名

c语言变量名规则是:1、变量名以英文字母开头;2、变量名中的字母是区分大小写的;3、变量名不能是关键字;4、变量名中不能包含空格、标点符号和类型说明符。php中文网还提供c语言变量的相关下载、相关课程等内容,供大家免费下载使用。

3589

2023.06.20

c语言入门自学零基础
c语言入门自学零基础

C语言是当代人学习及生活中的必备基础知识,应用十分广泛,本专题为大家c语言入门自学零基础的相关文章,以及相关课程,感兴趣的朋友千万不要错过了。

2428

2023.07.25

c语言运算符的优先级顺序
c语言运算符的优先级顺序

c语言运算符的优先级顺序是括号运算符 > 一元运算符 > 算术运算符 > 移位运算符 > 关系运算符 > 位运算符 > 逻辑运算符 > 赋值运算符 > 逗号运算符。本专题为大家提供c语言运算符相关的各种文章、以及下载和课程。

1360

2023.08.02

c语言数据结构
c语言数据结构

数据结构是指将数据按照一定的方式组织和存储的方法。它是计算机科学中的重要概念,用来描述和解决实际问题中的数据组织和处理问题。数据结构可以分为线性结构和非线性结构。线性结构包括数组、链表、堆栈和队列等,而非线性结构包括树和图等。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1318

2023.08.09

c语言random函数用法
c语言random函数用法

c语言random函数用法:1、random.random,随机生成(0,1)之间的浮点数;2、random.randint,随机生成在范围之内的整数,两个参数分别表示上限和下限;3、random.randrange,在指定范围内,按指定基数递增的集合中获得一个随机数;4、random.choice,从序列中随机抽选一个数;5、random.shuffle,随机排序。

1416

2023.09.05

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2338

2023.09.20

c语言get函数的用法
c语言get函数的用法

get函数是一个用于从输入流中获取字符的函数。可以从键盘、文件或其他输入设备中读取字符,并将其存储在指定的变量中。本文介绍了get函数的用法以及一些相关的注意事项。希望这篇文章能够帮助你更好地理解和使用get函数 。

3860

2023.09.20

c数组初始化的方法
c数组初始化的方法

c语言数组初始化的方法有直接赋值法、不完全初始化法、省略数组长度法和二维数组初始化法。详细介绍:1、直接赋值法,这种方法可以直接将数组的值进行初始化;2、不完全初始化法,。这种方法可以在一定程度上节省内存空间;3、省略数组长度法,这种方法可以让编译器自动计算数组的长度;4、二维数组初始化法等等。

18115

2023.09.22

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

100

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn