讲师中心 微信公众号

工具推荐

视频效率加速
Seko
Seko

AI短剧一键生成成片

updream

一键生成高质量推广成片

剧云
剧云

中文短剧剧本制作平台

立刻MV
立刻MV

低成本歌曲 MV、视频生成

SQL 数据清洗与转换实践

千宇酱_6209

千宇酱_6209

发布时间:2026-02-19 17:57:09

|

544人浏览过

|

来源于php中文网

原创

WHERE中NULL判断失效因NULL非值而是缺失标记,须用IS NULL;TRIM/REPLACE无法处理Unicode控制符;类型转换失败在MySQL非严格模式下静默变NULL;UPDATE漏写精确WHERE条件易误更新全表。

sql 数据清洗与转换实践

WHERE 条件里写 NULL 判断会失效? 常见错误现象:WHERE column = NULL 返回空结果,哪怕表里明明有 NULL 值

SQL 里 NULL 不是值,而是“缺失标记”,不能用 = 或 != 比较。所有涉及 NULL 的等值判断都会返回 UNKNOWN,而 WHERE 只接受 TRUE。

  • 用 IS NULL 或 IS NOT NULL 替代 = NULL
  • 聚合函数如 COUNT(column) 自动跳过 NULL,但 COUNT(*) 不跳 —— 这常被误用来“查空行数”
  • 连接时 ON a.id = b.id 若任一为 NULL,该行直接不匹配,不是“匹配失败”,是“不参与连接”

字符串清洗:TRIM 和 REPLACE 够用吗? 使用场景:处理用户输入、CSV 导入、爬虫数据中混杂的空格、不可见字符(如 \t、\r、零宽空格)

TRIM() 只去首尾空格(默认空格,可指定字符),REPLACE() 能换指定子串,但两者都对 Unicode 控制符、全角空格、BOM 头无能为力。

  • PostgreSQL 可用 REGEXP_REPLACE(col, '[\u200B-\u200D\uFEFF]+', '', 'g') 清零宽字符
  • MySQL 8.0+ 支持 REGEXP_REPLACE();老版本只能靠应用层或自定义函数
  • 别用 REPLACE(col, ' ', '') 清空格——它会把字段内正常空格也干掉,破坏语义

类型转换失败导致整列变 NULL? 错误现象:CAST(age_str AS INTEGER) 后整列变 NULL,但只有一两行是非法值

多数数据库(如 PostgreSQL、SQL Server)在类型转换失败时默认抛错;但 MySQL 在非严格模式下会静默转成 0 或 NULL,且不报任何提示,极易掩盖脏数据。

  • PostgreSQL 推荐用 col::INTEGER + NULLIF() 组合:例如 NULLIF(TRIM(age_str), '')::INTEGER
  • MySQL 开启严格模式(STRICT_TRANS_TABLES)让转换失败立刻报错,而不是吞掉异常
  • 避免用 CONVERT() 或 CAST() 直接套原始字段,先用 REGEXP_LIKE()(MySQL 8.0+/PostgreSQL)筛出合法格式再转

UPDATE 时 WHERE 条件漏写主键,全表被改? 真实踩坑场景:开发环境跑完 UPDATE user SET status = 'active',发现 20 万用户全激活了

没有 WHERE 的 UPDATE / DELETE 是高危操作,但更危险的是 WHERE 写得不精确,比如用 WHERE name = '张三' —— 名字重复太常见。

  • 执行前先用 SELECT COUNT(*) 验证条件命中行数,尤其涉及 JOIN 或子查询时
  • 在事务里操作:BEGIN; UPDATE ...; SELECT ROW_COUNT(); ROLLBACK;(MySQL)或 SELECT pg_affected_rows()(PostgreSQL)
  • 别依赖 IDE 的“安全更新模式”,它只拦没 WHERE,不拦弱条件;真正安全的是主键/唯一索引字段 + 明确值
实际清洗时最麻烦的不是语法,是搞不清原始数据到底“缺什么”——比如一个 phone 字段,你以为只是空格多,结果发现混着 +86、86-、(010)、138****1234 四种格式,还夹着“暂无”“不详”“/”。这种得先 GROUP BY 看分布,再分策略处理,没法一条 SQL 搞定。

热门AI工具

更多
SoundView
SoundView Hot

SoundView是一款面向跨境电商的视频翻译、配音和本地化 AI 创作平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4983

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1011

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1309

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

7041

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

3703

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

7020

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

9821

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1330

2024.04.29

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

20

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn