本教程详细介绍了如何使用python的`pypdf`库从pdf文档中高效提取文本，并重点讲解了在提取过程中处理不需要内容（如页码或特定页面）的两种主要策略。文章将通过代码示例，演示如何根据页码选择性地跳过整个页面，以及如何通过字符串处理技术从已提取的页面文本中过滤掉嵌入的特定内容，从而生成更干净、更符合需求的文本输出。
PDF文本提取基础与常见挑战
在使用Python处理PDF文档时，pypdf库是一个强大且常用的工具，可以方便地读取PDF内容并提取文本。然而，在实际应用中，我们常常会遇到需要对提取的文本进行清洗的情况。例如，PDF页面中可能包含页码、页眉、页脚、水印或其他非内容性信息，这些元素在文本提取后可能会干扰后续的数据处理或分析。
以下是使用pypdf进行基本文本提取的示例：
from pypdf import PdfReader
# 假设我们有一个名为 "pdf-examples/kurdish-sample-2.pdf" 的PDF文件
reader = PdfReader("pdf-examples/kurdish-sample-2.pdf")
full_text = ""
for page in reader.pages:
full_text += page.extract_text() + "\n"
print(full_text)在某些情况下，上述代码的输出可能包含不希望出现的页码，例如：
5 دوارۆژی ئەم منداڵه بکەنەوە کە چۆن و چی بەسەر دێت و دووچاری
这里的数字“5”即为页面内容的一部分，而非我们希望提取的实际文本。为了解决这个问题，我们可以采用不同的策略。
策略一：根据页码跳过特定页面
如果某个页面包含的绝大部分内容都是不相关的（例如，仅有页码、版权信息或空白页），或者我们确定某个页面的文本完全不需要，最直接的方法是完全跳过该页面的文本提取。这可以通过在遍历页面时引入一个计数器并进行条件判断来实现。
实现方法：
- 初始化一个页面计数器。
- 在循环中，每次迭代时递增计数器。
- 使用条件语句（if）检查当前页码是否为需要跳过的页码。
- 如果匹配，则使用pass语句跳过当前页面的文本提取；否则，将页面文本添加到总文本中。
以下是实现这一策略的示例代码：
from pypdf import PdfReader
def extract_text_excluding_pages(pdf_path, pages_to_exclude=None):
"""
从PDF中提取文本，并跳过指定的页面。
Args:
pdf_path (str): PDF文件的路径。
pages_to_exclude (list or int, optional): 一个整数或整数列表，表示要跳过的页面索引（从1开始）。
如果为None，则提取所有页面。
Returns:
str: 提取到的所有页面的合并文本。
"""
reader = PdfReader(pdf_path)
extracted_text = ""
# 确保 pages_to_exclude 是一个列表，方便处理单个或多个页面
if isinstance(pages_to_exclude, int):
pages_to_exclude = [pages_to_exclude]
elif pages_to_exclude is None:
pages_to_exclude = []
for i, page in enumerate(reader.pages, start=1): # enumerate从1开始计数，与实际页码对应
if i in pages_to_exclude:
# 如果当前页码在排除列表中，则跳过该页
pass
else:
# 否则，提取并添加页面文本
extracted_text += page.extract_text() + "\n"
return extracted_text
# 示例用法：跳过第5页
pdf_file = "pdf-examples/kurdish-sample-2.pdf"
filtered_text = extract_text_excluding_pages(pdf_file, pages_to_exclude=5)
print(filtered_text)
# 示例用法：跳过第1页和第3页
# filtered_text_multiple = extract_text_excluding_pages(pdf_file, pages_to_exclude=[1, 3])
# print(filtered_text_multiple)注意事项：
- enumerate(reader.pages, start=1) 确保页面计数器i从1开始，与PDF的实际页码习惯保持一致。
- pages_to_exclude 参数可以是一个整数（跳过单页）或一个整数列表（跳过多页），提高了灵活性。
- 此方法是跳过整个页面的文本提取，而不是从页面文本中移除某个特定元素。
策略二：从页面文本中过滤特定内容
如果页码或不需要的字符是页面实际文本的一部分，并且我们仍然需要该页面的其他内容，那么仅仅跳过整个页面是不够的。在这种情况下，我们需要在提取页面文本后，对其进行字符串处理，以移除或替换特定的模式。
实现方法：
- 正常提取每个页面的文本。
- 对提取到的文本应用字符串操作，例如：
- lstrip(): 移除字符串开头的特定字符（例如，数字和空格）。
- replace(): 替换字符串中的特定子串。
- 正则表达式 (re模块): 针对更复杂的模式进行匹配和替换。
以下是使用lstrip()和正则表达式移除页码的示例：
import re
from pypdf import PdfReader
def extract_text_and_filter_content(pdf_path):
"""
从PDF中提取文本，并尝试从每页文本的开头移除页码。
Args:
pdf_path (str): PDF文件的路径。
Returns:
str: 提取并过滤后的所有页面的合并文本。
"""
reader = PdfReader(pdf_path)
extracted_text = ""
for i, page in enumerate(reader.pages, start=1):
page_text = page.extract_text()
if page_text:
# 尝试移除开头的数字和空格，假设页码在开头
# 例如 "5 دوارۆژی..." -> "دوارۆژی..."
# 使用正则表达式匹配开头的数字和可能的空格
# r"^\s*\d+\s*" 匹配字符串开头（^）的零个或多个空格（\s*），
# 跟着一个或多个数字（\d+），再跟着零个或多个空格。
filtered_page_text = re.sub(r"^\s*\d+\s*", "", page_text, 1) # 替换一次
# 如果页码不总是在开头，或者格式更复杂，可能需要更复杂的正则表达式
# 例如，移除所有单独的数字行或者页脚中的特定模式
# 示例：移除所有只有数字的行 (假设每行以\n结尾)
# filtered_page_text = "\n".join([line for line in filtered_page_text.split('\n') if not re.fullmatch(r'\s*\d+\s*', line)])
extracted_text += filtered_page_text + "\n"
return extracted_text
# 示例用法：
pdf_file = "pdf-examples/kurdish-sample-2.pdf"
filtered_content_text = extract_text_and_filter_content(pdf_file)
print(filtered_content_text)注意事项：
- re.sub(r"^\s*\d+\s*", "", page_text, 1)：这个正则表达式会匹配字符串开头（^）的任意空白字符（\s*），接着是一个或多个数字（\d+），再接着任意空白字符，并将其替换为空字符串。1表示只替换第一次匹配到的。
- 这种方法需要对页码出现的模式有一定了解。如果页码格式不固定，或者页码可能出现在文本的中间，则需要更复杂的正则表达式或更精细的文本解析逻辑。
- 过度或不准确的过滤可能会误删实际内容。在应用此策略时，务必进行充分的测试。
综合考量与最佳实践
在选择上述两种策略时，应根据具体需求和PDF文档的特点进行判断：
- 选择跳过页面 (策略一)：当整个页面内容不重要，或者页码/不相关信息占据了页面大部分内容时，此方法最有效且性能开销最小。
- 选择过滤内容 (策略二)：当页面的核心内容仍然需要，但其中混入了需要剔除的特定元素（如页码、页眉/页脚文本）时，此方法更为适用。
更复杂的场景：
- 页码位置不固定：如果页码可能在页眉、页脚或页面的其他位置，并且格式不统一，可能需要结合pypdf的几何信息（如page.cropbox、page.mediabox）来判断文本的相对位置，从而更准确地识别和移除页码。
- 性能优化：对于非常大的PDF文件，频繁的字符串操作或复杂的正则表达式可能会影响性能。在这种情况下，可以考虑在提取文本时就进行初步过滤，或者使用更高效的文本处理库。
总结
pypdf库为Python用户提供了强大的PDF文本提取能力。通过结合页面迭代计数器进行条件判断，我们可以灵活地选择性地跳过不需要的页面。而当需要从页面文本中移除嵌入的特定元素时，Python强大的字符串处理功能和正则表达式则能提供精确的控制。理解并熟练运用这些策略，将有助于我们更高效、更准确地从PDF文档中获取所需的文本数据。
