引言
在数据分析和处理中，我们经常需要从非结构化或半结构化的文本数据中提取特定格式的信息。其中，提取数值型数据，特别是包含整数和分数的复杂数值，是一个常见而又具有挑战性的任务。传统的数字匹配模式可能无法满足所有需求，例如，简单的\d+只能匹配整数，而无法识别9/10这样的分数。本教程将深入探讨如何使用Python的re模块，构建健壮的正则表达式来高效地完成这一任务。
挑战分析与模式构建
当文本中包含如2 Table $75、5 Chairs 875 Teabags和9/10 gel 125 Dishwasher tablets这类混合了整数、分数、文字和符号的数据时，我们需要一种能够同时识别整数和分数的正则表达式。
1. 传统\d+的局限性：\d+模式可以匹配一个或多个数字字符。对于2、75、5、875、125这样的整数，它能很好地工作。然而，当遇到9/10这样的分数时，\d+只会匹配到9，而忽略/10，这显然不符合我们的预期。
2. 初步尝试与改进： 为了匹配分数，我们可能会尝试\d+\/\d+来匹配形如9/10的结构。将整数和分数结合起来，一个直观的想法是使用逻辑或|，例如(\d+|\d+\/\d+)。虽然这个模式能够匹配整数或分数，但在更复杂的全局匹配中，其组合方式和捕获组的使用需要仔细考量。
原始问题中尝试的模式如^(\d+)\D+(\d+)\D+(\d+)或^(\d+|\d+\/\d+)\D+(\d+)\D+(\d+)，旨在从字符串开头匹配固定数量的、由非数字字符分隔的数值。这种方法在数据结构严格一致时有效，但如果数值出现的顺序或数量不固定，或者我们希望提取所有出现的数值，则需要更灵活的策略。
立即学习“Python免费学习笔记（深入）”；
3. 核心正则表达式：\d+(?:/\d+)? 为了同时优雅地匹配整数和分数，我们构建以下核心模式：
- \d+：这部分用于匹配一个或多个数字，它将捕获整数部分，例如2、5、875。
- (?:/\d+)?：这是一个可选的非捕获组。
- ?: 表示这是一个非捕获组。这意味着这个组的内容会被匹配，但不会作为独立的匹配结果被捕获。这有助于保持匹配结果的简洁性，只捕获我们真正关心的部分。
- /：匹配字面上的斜杠字符。
- \d+：匹配斜杠后的一个或多个数字，构成分数的分母部分。
- ?：这是一个量词，表示前面的组（即(?:/\d+)）可以出现零次或一次。这意味着整个/和其后的数字部分是可选的。
将两者结合起来，\d+(?:/\d+)?的含义是：
- 先匹配一个或多个数字（这可以是整数）。
- 然后，可选地匹配一个斜杠，后面再跟一个或多个数字（这构成了分数部分）。
这个模式的优势在于：
- 如果文本是2，它会匹配2。
- 如果文本是9/10，它会匹配9/10。
- 它简洁且高效，完美覆盖了整数和分数两种情况。
实战演示：结合Pandas进行数据提取
我们将使用Python的pandas库来处理表格数据，并结合re模块进行正则表达式匹配。
import pandas as pd
import re
# 示例数据
data = {
'text_column': [
'2 Table $75',
'5 Chairs 875 Teabags',
'9/10 gel 125 Dishwasher tablets'
]
}
df = pd.DataFrame(data)
# 定义正则表达式模式
# 这个模式旨在捕获数字/分数，以及其后的单词（如果存在）。
# 但在实际提取数字/分数时，我们主要关注第一个捕获组。
pattern = r'(\d+(?:/\d+)?)\s*([a-zA-Z]+)|([a-zA-Z]+)'
print("提取的数字和分数：")
# 遍历DataFrame的每一行，提取匹配项
for index, row in df.iterrows():
text = row['text_column']
# 使用re.findall找到所有非重叠的匹配
matches = re.findall(pattern, text)
# 打印每个匹配到的数字或分数
for match_tuple in matches:
# 模式中的第一个捕获组 (\d+(?:/\d+)?) 对应数字或分数
# 如果这个组有匹配内容，就打印它
if match_tuple[0]:
print(f" 匹配: {match_tuple[0]}")
print() # 每处理完一行后空一行，提高可读性代码解释：
- 导入库： 导入pandas用于数据框操作，re用于正则表达式。
- 创建DataFrame： 模拟一个包含待处理文本的DataFrame。
-
定义模式： pattern = r'(\d+(?:/\d+)?)\s*([a-zA-Z]+)|([a-zA-Z]+)'
- 这个模式实际上比我们核心讨论的\d+(?:/\d+)?更复杂，它尝试匹配两种情况：
- (\d+(?:/\d+)?)\s*([a-zA-Z]+)：一个数字/分数，后面跟着可选的空格和单词。这里的(\d+(?:/\d+)?)是第一个捕获组。
- ([a-zA-Z]+)：单独的单词。这是第三个捕获组。
- re.findall在遇到|时，会返回与整个模式匹配的所有结果。对于每个匹配，它会返回一个元组，其中包含所有捕获组的内容。
- 在本例中，我们主要关注数字和分数的提取，它们位于第一个捕获组match_tuple[0]。
- 这个模式实际上比我们核心讨论的\d+(?:/\d+)?更复杂，它尝试匹配两种情况：
-
遍历与提取：
- df.iterrows()：迭代DataFrame的每一行。
- re.findall(pattern, text)：对当前行的文本应用正则表达式。findall会返回一个列表，其中包含所有非重叠的匹配项。每个匹配项都是一个元组，对应模式中的捕获组。
- for match_tuple in matches:：遍历findall返回的每个匹配元组。
- if match_tuple[0]:：检查元组的第一个元素（即我们数字/分数捕获组的内容）是否非空。如果非空，说明匹配到了数字或分数，并将其打印出来。
输出结果：
提取的数字和分数： 匹配: 2 匹配: 75 匹配: 5 匹配: 875 匹配: 9/10 匹配: 125
从输出可以看出，我们成功地从混合文本中提取了所有的整数和分数，包括9/10这样的复杂形式。
注意事项
-
模式的通用性：
- 当前模式\d+(?:/\d+)?适用于正整数和正分数。
- 如果需要匹配负数（如-5），可以修改为(-?\d+(?:/\d+)?)。
- 如果需要匹配浮点数（如3.14），可以修改为(\d+(?:\.\d+)?(?:/\d+)?)或更通用的(\d+(?:\.\d+)?(?:/\d+)?|(?:\.\d+))。
- 对于更复杂的数值（如科学计数法、带货币符号或单位的数字），需要根据具体需求进一步扩展正则表达式。
-
捕获组与非捕获组：
- (...)是捕获组，它会捕获匹配到的内容并作为结果的一部分返回。
- (?:...)是非捕获组，它只用于分组匹配，但不会捕获其内容。在不需要单独提取分组内容时使用非捕获组，可以提高效率和结果的清晰度。
-
re.findall()与re.search()/re.match()：
- re.findall(pattern, string)：查找字符串中所有与模式匹配的非重叠子串，并以列表形式返回所有匹配。如果模式包含捕获组，则返回一个元组列表。
- re.search(pattern, string)：扫描整个字符串，找到第一个匹配项。返回一个匹配对象（Match object），如果没有找到则返回None。
- re.match(pattern, string)：只尝试从字符串的开头匹配。如果字符串开头与模式匹配，则返回一个匹配对象，否则返回None。 根据需求选择合适的函数至关重要。本教程中，由于需要提取一行中所有出现的数字和分数，re.findall()是最佳选择。
-
性能优化：
- 对于需要重复使用的正则表达式，可以使用re.compile()预编译模式，以提高在大规模数据处理时的性能：
compiled_pattern = re.compile(r'(\d+(?:/\d+)?)\s*([a-zA-Z]+)|([a-zA-Z]+)') # 之后使用 compiled_pattern.findall()
- 对于需要重复使用的正则表达式，可以使用re.compile()预编译模式，以提高在大规模数据处理时的性能：
-
正则测试工具：
- 在编写复杂正则表达式时，强烈建议使用在线工具如 regex101.com。这些工具提供实时匹配结果、详细解释和测试用例，极大地简化了调试过程。
总结
通过本教程，我们学习了如何利用Python正则表达式中的\d+(?:/\d+)?模式，高效且准确地从混合文本中提取整数和分数。该模式通过结合数字匹配、非捕获组和可选量词，解决了传统\d+的局限性，实现了对两种数值形式的统一识别。结合pandas和re.findall()的应用，我们能够轻松地将这一技术应用于实际的数据清洗和预处理任务中。掌握这种灵活的正则表达式构建方法，将极大提升处理非结构化文本数据的能力。
