解决百度百科网页爬取结果为空的问题
在使用XPath爬取百度百科数据时，经常会遇到空结果的情况。本文分析可能原因并提供解决方案。
问题：使用lxml库和XPath表达式//div[contains(@class,"lemma-summary") or contains(@class,"lemmawgt-lemmasummary")]//text()提取百度百科词条摘要信息时，结果为空。
原因：百度百科的网页结构和重定向机制。服务器返回302状态码，表示需要重定向到新的URL。原始代码未处理重定向，导致爬取的页面并非目标页面。
百度文档解析vlm-parser
下载
调用百度PaddleOCR‑VL大模型API，支持PDF、Word、PPT、图片等多格式文档解析，精准识别印刷体、手写体、表格、公式、图表、印章等复杂元素，支持100+语言，可处理不规则布局和跨页长文档。触发词：文档解析、VLM解析、大模型OCR、PaddleOCR、多模态文档、手写识别、公式识别、复杂版面。
解决方案：在代码中添加重定向处理。以下为改进后的代码：
import urllib.request
import urllib.parse
from lxml import etree
def fetch_baike_summary(keyword):
url = 'https://baike.baidu.com/item/' + urllib.parse.quote(keyword)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
req = urllib.request.Request(url=url, headers=headers)
try:
with urllib.request.urlopen(req) as response:
if response.getcode() == 302:
url = response.geturl()
req = urllib.request.Request(url=url, headers=headers)
with urllib.request.urlopen(req) as response:
html = response.read().decode('utf-8', errors='ignore')
else:
html = response.read().decode('utf-8', errors='ignore')
tree = etree.HTML(html)
summary = tree.xpath('//div[contains(@class,"lemma-summary") or contains(@class,"lemmaWgt-lemmaSummary")]//text()')
return ''.join([item.strip() for item in summary])
except Exception as e:
return f"Error: {e}"
if __name__ == "__main__":
keyword = input("请输入关键词：")
result = fetch_baike_summary(keyword)
print(f"查询结果：{result}")
改进之处：
- 增加了对302重定向的处理，获取重定向后的URL并重新请求。
- 使用
with语句管理资源，确保正确关闭连接。 - 使用更健壮的错误处理机制，捕获并报告异常。
- 代码更清晰易读，并进行了适当的命名。
此代码能够正确处理重定向，并提取百度百科词条摘要信息。 记住，频繁爬取可能会对服务器造成负担，请遵守网站的robots.txt规则。
