如何将爬取的 HTML 表格数据转换为 Pandas DataFrame-Python教程-PHP中文网

如何将爬取的 HTML 表格数据转换为 Pandas DataFrame

本文介绍如何使用 BeautifulSoup 解析网页中的表格结构，并提取指定字段（如姓名、位置、球队、年龄、出生年份）构建结构化 Pandas DataFrame，适用于 FBRef 等含语义化 data-stat 属性的体育数据网站。

本文介绍如何使用 beautifulsoup 解析网页中的 `

` 表格结构，并提取指定字段（如姓名、位置、球队、年龄、出生年份）构建结构化 pandas dataframe，适用于 fbref 等含语义化 `data-stat` 属性的体育数据网站。

在网页数据采集实践中，获取原始 HTML 后常需将其转化为结构化表格（如 pandas.DataFrame）以便后续分析。FBRef 网站采用高度语义化的 HTML 标记（如

），这为精准提取字段提供了便利。以下是一个完整、健壮的转换流程：

✅ 正确解析与结构化建模

首先，跳过不必要的注释清理（原代码中正则替换实际上非必需，且可能引入风险；现代 lxml 或 html.parser 均能自动处理注释），直接解析响应内容：

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "https://fbref.com/en/comps/9/stats/Premier-League-Stats"
res = requests.get(url)
res.raise_for_status()  # 确保请求成功

soup = BeautifulSoup(res.text, 'lxml')
# 定位第3个 <tbody>（索引为2），对应球员统计主表
player_tbody = soup.find_all("tbody")[2]

接着，遍历每一行

DeepBI DHTML 页面生成器

生成可在 deepbi 沙箱 iframe 内运行或作为独立文件运行的交互式 HTML 页面，使用 `window.deepbi` JS SDK 实现数据查询、空间管理、文件浏览及用户操作。当用户提出以下需求时启用该能力： - 创建 KPI 仪表盘、数据表格、文件浏览器、成员列表、管理页面； - 明确要求“转成 dhtml”、“转译成 HTML”、“把 XX 页面转成……”、“控制台页面”、“管理后台”、“DeepBI 页面迁移”； - 提及位于 `apps/console/src/featur

下载

，按 data-stat 属性定位关键列，并安全提取文本内容（注意：部分单元格内嵌标签，需统一用 .get_text(strip=True) 避免换行/空格干扰）：

data = []
for row in player_tbody.find_all("tr"):
    # 提取姓名：优先取 <a> 标签内的文本（避免 th 中冗余内容）
    name_tag = row.find("a")
    name = name_tag.get_text(strip=True) if name_tag else ""

    # 按 data-stat 属性精准提取字段
    position = row.find("td", {"data-stat": "position"})
    team = row.find("td", {"data-stat": "team"})
    age = row.find("td", {"data-stat": "age"})
    birth_year = row.find("td", {"data-stat": "birth_year"})

    # 安全提取 + 清洗（例如 age 字段为 "24-084"，可截取整数部分）
    position_txt = position.get_text(strip=True) if position else ""
    team_txt = team.get_text(strip=True) if team else ""
    age_txt = age.get_text(strip=True).split("-")[0] if age and "-" in age.get_text(strip=True) else age.get_text(strip=True) if age else ""
    birth_year_txt = birth_year.get_text(strip=True) if birth_year else ""

    data.append([name, position_txt, team_txt, age_txt, birth_year_txt])

# 构建 DataFrame
df = pd.DataFrame(data, columns=["Name", "Position", "Team", "Age", "Birth Year"])
print(df.head())